CN102129709A - 可视化深度 - Google Patents

可视化深度 Download PDF

Info

Publication number
CN102129709A
CN102129709A CN2010105540949A CN201010554094A CN102129709A CN 102129709 A CN102129709 A CN 102129709A CN 2010105540949 A CN2010105540949 A CN 2010105540949A CN 201010554094 A CN201010554094 A CN 201010554094A CN 102129709 A CN102129709 A CN 102129709A
Authority
CN
China
Prior art keywords
depth
target
scene
summit
virtual objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010105540949A
Other languages
English (en)
Inventor
G·N·斯努克
R·马尔科维奇
S·G·拉塔
K·盖斯那
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102129709A publication Critical patent/CN102129709A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

可由设备接收、观测或捕捉诸如场景的深度图像等图像。随后可分析该图像以标识场景内的一个或多个目标。当标识了目标时，可生成顶点。随后可通过绘制可连接这些顶点的线条来创建网格模型。另外，也可为每个顶点计算深度值。这些顶点的深度值可在随后用于挤压网格模型，以使得网格模型可表示三维虚拟世界中的目标。还可将着色方案、纹理、照明效果等应用于网格模型以传达虚拟对象在虚拟世界中可能具有的深度。

Description

可视化深度
背景
诸如计算机游戏、多媒体应用程序等的许多计算应用程序使用控制命令来允许用户操纵游戏角色或应用程序的其他方面。通常这些控制命令是使用例如，控制器、遥控器、键盘、鼠标等来输入的。不幸的是，这些控制命令可能是难以学习的，由此造成了用户和这些游戏及应用程序之间的障碍。此外，这些控制命令可能与这些控制命令所用于的实际游戏动作或其他应用程序动作不同。例如，使得游戏角色旋转棒球拍的游戏控制命令可能不与旋转棒球拍的实际动作相对应。
概述
本文中所公开的是用于通过传达虚拟对象在虚拟世界中可能具有的深度感来帮助用户参与三维(3D)虚拟世界的系统和方法。例如，可以接收或可以观测诸如场景的深度图像等图像。随后可分析该深度图像以标识场景内的相异元素。相异元素可以是例如墙、椅子、人类目标、控制器等。如果在场景内标识了相异元素，则可在3D虚拟世界中创建诸如化身等虚拟对象，以表示相异元素在场景中的定向。随后可使用可视化方案来传达虚拟对象在虚拟世界中的深度感。
根据一示例实施例，传达深度感可通过将所选虚拟对象与场景中的其他虚拟对象隔离来发生。继已在3D虚拟世界中创建了虚拟对象之后，可选择虚拟对象，并且可使用深度映射来确定所选虚拟对象的边界。例如，可使用深度映射来确定所选虚拟对象表示场景中可能站立在一堵墙前面的人。当已确定所选虚拟对象的边界时，可执行分量分析以确定可能在所选虚拟对象的边界内的连接的像素。可将着色方案、纹理、照明效果等应用于连接的像素，以便传达虚拟对象在虚拟世界中的深度感。例如，随后可根据着色方案对连接的像素着色，该着色方案表示3D虚拟世界中由深度映射确定的虚拟对象的深度。
在另一示例实施例中，传达深度感可通过将定向光标放在所选虚拟对象上来发生。可分析深度图像以标识场景内的相异元素。如果在场景内标识了相异元素，则可在3D虚拟世界中创建虚拟对象，以表示相异元素在场景中的定向。为了传达虚拟对象在3D虚拟世界中的深度感，可将定向光标放在虚拟对象上。定向光标可以是可指示虚拟对象在虚拟世界中的深度的符号、形状、色彩、文本等。在一个实施例中，若干虚拟对象可具有定向光标。当移动虚拟对象时，可改变定向光标的大小、色彩和/或形状，以指示虚拟对象在3D虚拟世界中的位置。在使用定向光标的大小、色彩和/或形状时，用户可发觉虚拟对象相对于3D虚拟世界内另一虚拟对象的位置的位置。
在另一示例实施例中，传达深度感可通过挤压网格模型来发生。可分析深度图像以便标识场景中可能存在的相异元素。当标识了相异元素时，可从深度图像计算以相异元素为基础的顶点。随后可使用顶点创建网格模型。对于每个顶点，也可计算深度值，以使得深度值可表示例如网格模型顶点在3D虚拟世界的深度场中的定向。随后可使用顶点的深度值来挤压网格模型，以使得网格模型可被用作表示3D虚拟世界中的场景里所标识的元素的虚拟对象。在一个示例实施例中，可将着色方案、纹理、照明效果等应用于网格模型，以便传达虚拟对象在虚拟世界中的深度感。
在另一示例实施例中，传达深度感可通过将所选虚拟对象与场景中的其他虚拟对象隔离，以及基于所选虚拟对象挤压网格模型来发生。继已在3D虚拟世界中创建了虚拟对象之后，可选择虚拟对象，并且可使用深度映射来确定所选虚拟对象的边界。当已确定所选虚拟对象的边界时，可从深度图像计算以所选的虚拟对象为基础的顶点。随后可使用顶点创建网格模型。对于每个顶点，也可计算深度值，以使得深度值可表示例如网格模型顶点在3D虚拟世界的深度场中的定向。随后可使用顶点的深度值来挤压网格模型，以使得网格模型可被用作表示3D虚拟世界中的场景里所标识的元素的虚拟对象。在一个示例实施例中，顶点的深度值可用于挤压现有网格模型。在另一示例实施例中，可将着色方案、纹理、照明效果等应用于网格模型，以便传达虚拟对象在虚拟世界中的深度感。
提供本概述是为了以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本发明的任一部分中提及的任何或所有缺点的实现。
附图简述
图1A和1B图解了伴随用户玩游戏的目标识别、分析和跟踪系统的示例实施例。
图2图解了可在目标识别、分析和跟踪系统中使用的捕捉设备的示例实施例。
图3图解了可用于解释目标识别、分析和跟踪系统中的一个或多个姿势的计算环境的示例实施例。
图4图解了可用于解释目标识别、分析和跟踪系统中的一个或多个姿势的计算环境的另一示例实施例。
图5描绘了通过将所选虚拟对象与场景中的其他虚拟对象隔离来传达深度感的示例方法的流程图。
图6图解了可用于通过将所选虚拟对象与场景中的其他虚拟对象隔离来传达深度感的深度图像的示例实施例。
图7图解了可基于深度图像中的人类目标生成的模型的示例实施例。
图8描绘了通过将定向光标放在所选虚拟对象上来传达深度感的示例方法的流程图。
图9图解了可用于向用户传达深度感的定向光标的示例实施例。
图10描绘了通过挤压网格模型来传达深度感的示例方法的流程图。
图11图解了可用于向用户传达深度感的网格模型的示例实施例。
图12描绘了通过将所选虚拟对象与场景中的其他虚拟对象隔离并基于所选虚拟模型挤压网格模型来传达深度感的示例方法的流程图。
说明性实施例的详细描述
如本文中将描述的，用户可通过执行关于输入对象的一个或多个姿势来控制在诸如游戏控制台、计算机等计算环境上执行的应用程序。根据一个实施例，姿势可由例如捕捉设备来接收。例如，捕捉设备可观测、接收和/或捕捉场景的图像。在一个实施例中，可分析第一图像以确定场景中的一个或多个对象是否对应于可由用户控制的输入对象。为了确定场景中的对象是否对应于输入对象，可扫描场景中的每个目标、对象、或任何部分以确定属于输入对象的指示符是否可能出现在第一图像内。在确定一个或多个指示符存在于第一图像内之后，指示符可被一起编组成聚类，该聚类随后可用于生成可指示输入对象在所捕捉的场景中的定向的第一向量。
另外，在一个实施例中，在生成第一向量之后，可在随后处理第二图像以确定场景中的一个以上的对象是否对应于诸如用户等人类目标。为了确定场景中的目标或对象是否对应于人类目标，可对场景中的每个目标、对象或任何部分进行泛色填充并将其与人体模型的图案作比较。随后可扫描与图案相匹配的每个目标或对象以生成与其相关联的模型，诸如骨架模型、网格人模型等。在一示例实施例中，模型可用于生成第二向量，该第二向量可指示可与输入对象相关联的身体部位的定向。例如，身体部位可包括用户的模型的手臂，以使得该手臂可用于抓握输入对象。另外，在生成模型之后，可分析模型以确定与可与输入对象相关联的身体部位相对应的至少一个关节。可处理该关节以确定关节在场景中的相对位置是否对应于输入对象的相对位置。当关节的相对位置对应于输入对象的相对位置时，则可基于关节生成第二向量，该第二向量可指示身体部位的定向。
随后可跟踪第一和/或第二向量，以例如使与化身相关联的虚拟对象活动起来、使化身活动起来、和/或控制各种计算应用程序。另外，可将第一和/或第二向量提供给计算环境以使得计算环境可跟踪第一向量、第二向量、和/或与向量相关联的模型。在另一实施例中，计算环境可基于例如所确定的角度来确定要在执行于计算环境上的应用程序中执行哪些控制。
图1A和1B示出伴随用户18玩拳击游戏的目标识别、分析和跟踪系统10的配置的示例实施例。在一示例实施例中，目标识别、分析和跟踪系统10可用于识别、分析和/或跟踪诸如用户18等的人类目标。
如图1A所示，目标识别、分析和跟踪系统10可包括计算环境12。计算环境12可以是计算机、游戏系统或控制台等等。根据一示例实施例，计算环境12可包括硬件组件和/或软件组件，从而使得计算环境12可用于执行诸如游戏应用程序、非游戏应用程序等的应用程序。在一个实施例中，计算环境12可包括可执行各种指令的诸如标准化处理器、专用处理器、微处理器等处理器，这些指令包括，例如，用于访问捕捉设备的指令、用于从捕捉设备接收一个或多个图像的指令、用于确定一个或多个图像中的一个或多个对象是否对应于人类目标和/或输入对象的指令、或任何其他合适的指令，这些将在下面更详细地描述。
如图1A所示，目标识别、分析和跟踪系统10还可包括捕捉设备20。捕捉设备20可以是例如相机，该相机可用于在视觉上监视诸如用户18等一个或多个用户，以使得可以捕捉、分析并跟踪一个或多个用户所执行的姿势，以执行应用中的一个或多个控制或动作，如将在下面更详细地描述的。在也将在以下更详细描述的另一实施例中，捕捉设备20可进一步被用于视觉地监视一个或多个输入对象，以使得由用户18关于输入对象执行的姿势可被捕捉、分析、以及跟踪，以在应用程序内执行一个或多个控制或动作。
根据一实施例，目标识别、分析和跟踪系统10可连接到可向诸如用户18等的用户提供游戏或应用程序视觉形象和/或音频的视听设备16，如电视机、监视器、高清电视机(HDTV)等。例如，计算环境12可包括诸如图形卡等视频适配器和/或诸如声卡等音频适配器，这些适配器可提供与游戏应用程序、非游戏应用程序等相关联的视听信号。视听设备16可从计算环境12接收视听信号，然后可向用户18输出与该视听信号相关联的游戏或应用程序视觉形象和/或音频。根据一实施例，视听设备16可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算环境12。
如图1A和1B所示，目标识别、分析和跟踪系统10可用于识别、分析和/或跟踪诸如用户18等人类目标。例如，可使用捕捉设备20来跟踪用户18，以使得可将用户18的移动解释为可用于影响由计算环境12执行的应用程序的控制。因而，根据一个实施例，用户18可移动他或她的身体来控制应用程序。
如图1A和1B所示，在一示例实施例中，在计算环境12上执行的应用程序可以是用户18可能正在玩的拳击游戏。例如，计算环境12可使用视听设备16来向用户18提供拳击对手38的视觉表示。计算环境12还可使用视听设备16来提供用户18可通过他的或她的移动来控制的玩家化身40的视觉表示。例如，如图1B所示，用户18可在物理空间中挥拳猛击来使得玩家化身40在游戏空间中挥拳猛击。因此，根据一示例实施例，目标识别、分析和跟踪系统10的计算环境12和捕捉设备20可用于识别和分析用户18在物理空间中的重拳，从而使得该重拳可被解释为对游戏空间中的玩家化身40的游戏控制。
用户18的其他移动也可被解释为其他控制命令或动作，诸如上下快速摆动、闪避、滑步、封堵、用拳猛击或挥动各种不同的有力重拳等控制。此外，某些移动可被解释为可对应于除控制玩家化身40之外的动作的控制。例如，玩家可使用移动来结束、暂停或保存游戏、选择级别、查看高分、与朋友交流等。另外，用户18的全范围运动可以用任何合适的方式来获得、使用并分析以与应用程序进行交互。
在示例实施例中，诸如用户18等人类目标可具有输入对象。在这些实施例中，电子游戏的用户可持握输入对象，以使得可使用玩家和输入对象的运动来调整和/或控制游戏的参数。例如，可以跟踪并利用持握球拍状输入对象的玩家的运动来控制电子运动游戏中的屏幕上球拍。在另一示例实施例中，可以跟踪并利用持握输入对象的玩家的运动来控制电子格斗游戏中的屏幕上武器。
根据其他示例实施例，目标识别、分析和跟踪系统10还可用于将目标移动解释为游戏领域之外的操作系统和/或应用程序控制。例如，事实上操作系统和/或应用程序的任何可控方面可由诸如用户18等目标的移动来控制。
图2示出可在目标识别、分析和跟踪系统10中使用的捕捉设备20的示例实施例。根据一示例实施例，捕捉设备20可被配置成捕捉带有包括深度图像的深度信息的视频，该深度图像可包括经由任何合适的技术——包括例如飞行时间、结构化光、立体图像等——的深度值。根据一实施例，捕捉设备20可将深度信息组织为“Z层”，即可与从深度相机沿其视线延伸的Z轴垂直的层。
如图2所示，捕捉设备20可包括图像相机组件22。根据一示例实施例，图像相机组件22可以是可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每一像素可表示深度值，诸如例如以厘米、毫米等计的、所捕捉的场景中的对象距相机的长度或距离。
如图2所示，根据一示例实施例，图像相机组件22可包括可用于捕捉场景的深度图像的IR光组件24、三维(3-D)相机26、和RGB相机28。例如，在飞行时间分析中，捕捉设备20的IR光组件24可将红外光发射到场景中，然后可使用传感器(未示出)——使用例如3-D相机26和/或RGB相机28——来检测来自场景中的一个或多个目标和对象的表面的反向散射光。在某些实施例中，可以使用脉冲式红外光，从而可以测量出射光脉冲与相应的入射光脉冲之间的时间并将其用于确定从捕捉设备20到场景中的目标或对象上的特定位置的物理距离。另外，在其他示例实施例中，可将传入光波的相位与传出光波的相位进行比较来确定相移。然后可以使用相移来确定从捕捉设备到对象或目标上的特定位置的距离。
根据另一示例实施例，可使用飞行时间分析，通过经由包括例如快门式光脉冲成像等各种技术来分析反射光束随时间的强度，来间接地确定从捕捉设备20到目标或对象上的特定位置的物理距离。
在另一示例实施例中，捕捉设备20可使用结构化光来捕捉深度信息。在该分析中，图案化光(即，被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如IR光组件24被投影到场景上。在撞击到场景中的一个或多个目标或对象的表面时，作为响应，图案可变形。图案的这种变形可由例如3-D相机26和/或RGB相机28来捕捉，然后可被分析以确定从捕捉设备到目标或对象上的特定位置的物理距离。
根据另一实施例，捕捉设备20可包括两个或更多物理上分开的相机，这些相机可从不同角度查看场景以获得视觉立体数据，该视觉立体数据可被解析以生成深度信息。
捕捉设备20还可包括话筒30。话筒30可包括可接收声音并将其转换成电信号的变换器或传感器。根据一实施例，话筒30可用于减少目标识别、分析和跟踪系统10中的捕捉设备20与计算环境12之间的反馈。另外，话筒30可用于接收也可由用户提供的音频信号，以控制可由计算环境12执行的诸如游戏应用程序、非游戏应用程序等应用程序。
在一示例实施例中，捕捉设备20还可包括可与图像相机组件22进行有效通信的处理器32。处理器32可包括可执行各种指令的诸如标准化处理器、专用处理器、微处理器等处理器，这些指令包括，例如，用于访问捕捉设备的指令、用于从捕捉设备接收一个或多个图像的指令、用于确定一个或多个图像中的一个或多个对象是否对应于人类目标和/或输入对象的指令、或任何其他合适的指令，这些将在下面更详细地描述。
捕捉设备20还可包括存储器组件34，存储器组件34可存储可由处理器32执行的指令、由媒体供给接口170创建的媒体帧、由3-D相机或RGB相机捕捉的图像或图像帧、或任何其他合适的信息、图像等等。根据一示例实施例，存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘、或任何其他合适的存储组件。如图2所示，在一实施例中，存储器组件34可以是与图像相机组件22和处理器32进行通信的单独的组件。根据另一实施例，存储器组件34可被集成到处理器32和/或图像捕捉组件22中。
如图2所示，捕捉设备20可经由通信链路36与计算环境12进行通信。通信链路36可以是包括例如USB连接、火线连接、以太网电缆连接等的有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等无线连接。根据一实施例，计算环境12可经由通信链路36向捕捉设备20提供可用于确定例如何时捕捉场景的时钟。
另外，捕捉设备20可经由通信链路36向计算环境12提供深度信息、由例如3-D相机26和/或RGB相机28捕捉的图像，和/或诸如可由捕捉设备20生成的骨架模型等模型。计算环境12可在随后使用深度信息、所捕捉的图像和/或模型来例如使基于输入对象的虚拟对象活动起来、使基于输入对象的化身活动起来、和/或控制诸如游戏或文字处理程序等应用程序。例如，如图2所示，计算环境12可包括姿势库190。姿势库190可包括姿势过滤器集合，每一姿势过滤器包括关于骨架模型可执行(在用户移动时)的姿势的信息。可将由相机26、28和捕捉设备20捕捉的骨架模型形式的数据以及与其相关联的移动与姿势库190中的姿势过滤器进行比较来标识用户(如骨架模型所表示的)何时执行了一个或多个姿势。那些姿势可与应用程序的各种控制相关联。因此，计算环境12可使用姿势库190来解释骨架模型和/或输入对象的移动以及基于这些移动来控制应用程序。
图3图解了可用于解释目标识别、分析和跟踪系统中的一个或多个姿势的计算环境的示例实施例。上面参考图1A-2所描述的诸如计算环境12等计算环境可以是诸如游戏控制台等多媒体控制台100。如图3所示，多媒体控制台100具有含有1级高速缓存102、2级高速缓存104和闪存ROM(只读存储器)106的中央处理单元(CPU)101。1级高速缓存102和2级高速缓存104临时存储数据并因此减少存储器访问周期数，由此改进处理速度和吞吐量。CPU 101可以设置成具有一个以上的核，以及由此的附加的1级和2级高速缓存102和104。闪存ROM 106可存储可在多媒体控制台100通电时在引导进程的初始化阶段期间加载的可执行代码。
图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速、高分辨率图形处理的视频处理流水线。数据可经由总线从图形处理单元108输送到视频编码器/视频编解码器114。视频处理流水线将数据输出到A/V(音频/视频)端口140以传输到电视机或其它显示器。存储器控制器110可连接到GPU 108以方便处理器访问各种类型的存储器112，诸如但不局限于RAM(随机存取存储器)。
多媒体控制台100包括较佳地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口控制器124、第一USB主控制器126、第二USB控制器128和前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、和外置存储器设备146(例如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口控制器124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等各种不同的有线和无线适配器组件中任一种。
可提供系统存储器143以存储可在引导进程期间加载的应用程序数据。可提供媒体驱动器144且其可包括DVD/CD驱动器、硬盘驱动器、或其它可移动媒体驱动器等。媒体驱动器144对于多媒体控制台100可以内置或外置。应用程序数据可经由媒体驱动器144访问，以由多媒体控制台100执行、回放等。媒体驱动器144可经由诸如串行ATA总线或其他高速连接(例如IEEE 1394)等总线连接到I/O控制器120。
系统管理控制器122提供涉及确保多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据可经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140以供外置音频播放器或具有音频能力的设备再现。
前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152以及任何LED(发光二极管)或其它指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。
CPU 101、GPU 108、存储器控制器110、和多媒体控制台100内的各个其它组件经由一条或多条总线互连，包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。作为示例，这种架构可以包括外围部件互连(PCI)总线、PCI-快速总线等。
当多媒体控制台100通电时，应用程序数据可从系统存储器143加载到存储器112和/或高速缓存102、104中并在CPU 101上执行。应用程序可呈现在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，媒体驱动器144中包括的应用程序和/或其它媒体可从媒体驱动器144启动或播放，以向多媒体控制台100提供附加功能。
多媒体控制台100可通过将该系统简单地连接到电视机或其它显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口控制器124或无线适配器148可用的宽带连接的集成，多媒体控制台100还可作为较大网络社区中的参与者来操作。
当多媒体控制台100通电时，可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可以包括存储器保留(例如，16MB)、CPU和GPU周期(例如，5％)、网络带宽(例如，8kbs)等。因为这些资源是在系统引导时保留的，所以所保留的资源对应用程序而言是不存在的。
具体地，存储器保留较佳地可以大至足以包含启动内核、并发系统应用程序和驱动程序。CPU保留较佳地可为恒定，使得若所保留的CPU用量不被系统应用程序使用，则空闲线程将消耗任何未使用的周期。
对于GPU保留，通过使用GPU中断来显示由系统应用程序生成的轻量消息(例如，弹出窗口)，以调度代码来将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图较佳地与屏幕分辨率成比例缩放。在并发系统应用程序可使用完整用户界面的情况下，优选使用独立于应用程序分辨率的分辨率。定标器可用于设置该分辨率，从而可以无需改变频率，也就不会引起TV重新同步。
在多媒体控制台100引导且系统资源被保留之后，就执行并发系统应用程序来提供系统功能。系统功能被封装在一组在前述所保留的系统资源中执行的系统应用程序中。操作系统内核标识是系统应用程序线程而非游戏应用程序线程的线程。系统应用程序优选地被调度为在预定时间并以预定时间间隔在CPU101上运行，以便为应用程序提供一致的系统资源视图。进行调度可以是为了把由在控制台上运行的游戏应用程序所引起的高速缓存分裂最小化。
当并发系统应用程序需要音频时，音频处理可能因时间敏感性而被异步调度给游戏应用程序。多媒体控制台应用程序管理器(如下所述)在系统应用程序活动时控制游戏应用程序的音频水平(例如，静音、衰减)。
输入设备(例如，外围控制器142(1)和142(2))由游戏应用程序和系统应用程序共享。输入设备不是所保留的资源，但却在系统应用程序和游戏应用程序之间切换以使其各自具有设备的焦点。应用程序管理器较佳地控制输入流的切换，而无需知晓游戏应用程序的知识，并且驱动程序维持有关焦点切换的状态信息。如图5中所示的，三维(3-D)相机26和RGB相机28、捕捉设备20、以及输入对象55可定义多媒体控制台100的附加输入设备。
图4图解了计算环境12的另一示例实施例，该计算环境可以是图1A-2中所示的用于解释目标识别、分析和跟踪系统中的一个或多个姿势的计算环境12。计算系统环境220只是合适的操作环境的一个示例，并且不旨在对所公开的主题的使用范围或功能提出任何限制。也不应该将计算环境12解释为对示例性操作环境220中示出的任一组件或其组合有任何依赖性或要求。在某些实施例中，各个所描绘的计算元素可包括被配置成实例化本公开的具体方面的电路。例如，本公开中使用的术语电路可包括被配置成执行固件或开关的功能的专用硬件组件。在其他示例实施例中，术语电路可包括由软件指令配置的实施可用于执行功能的逻辑的通用处理单元、存储器等。在电路包括硬件和软件的组合的示例实施例中，实现者可编写实施逻辑的源代码且该源代码可被编译成可由通用处理单元处理的机器可读代码。因为本领域技术人员可以明白现有技术已经进化到硬件、软件或硬件/软件的组合之间可能几乎没有差别的地步，因而选择硬件或是软件来实现具体功能可以是留给实现者的设计选择。更具体地，本领域技术人员可以明白软件进程可被变换成等价的硬件结构，而硬件结构本身可被变换成等价的软件进程。因此，对于硬件实现还是软件实现的选择可以是设计选择之一并留给实现者。
在图4中，计算环境220包括计算机241，计算机241通常包括各种计算机可读介质。计算机可读介质可以是能由计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)223和随机存取存储器(RAM)260。基本输入/输出系统224(BIOS)包括有助于诸如启动时在计算机241中元件之间传递信息的基本例程，它通常可以存储在ROM 223中。RAM 260通常包括处理单元259可以立即访问和/或目前正在操作的数据和/或程序模块。作为示例而非限制，图4示出操作系统225、应用程序226、其他程序模块227和程序数据228。
计算机241也可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图4示出了从不可移动、非易失性磁介质中读取或向其写入的硬盘驱动器238，从可移动、非易失性磁盘254中读取或向其写入的磁盘驱动器239，以及从诸如CD ROM或其他光学介质等可移动、非易失性光盘253中读取或向其写入的光盘驱动器240。可以在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。硬盘驱动器238通常可由诸如接口234等不可移动存储器接口连接至系统总线221，磁盘驱动器239和光盘驱动器240通常由诸如接口235等可移动存储器接口连接至系统总线221。
以上讨论并在图4中示出的驱动器及其相关联的计算机存储介质为计算机241提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。在图4中，例如，硬盘驱动器238被示为存储操作系统258、应用程序226、其他程序模块227和程序数据228。注意，这些组件可以与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可以与它们不同。操作系统225、应用程序226、其他程序模块227和程序数据228在这里被标注了不同的标号是为了说明至少它们是不同的副本。用户可以通过输入设备，诸如键盘251和定点设备252——通常被称为鼠标、跟踪球或触摸垫——向计算机241输入命令和信息。其他输入设备(未示出)可以包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些和其他输入设备通常由可耦合至系统总线的用户输入接口236连接至处理单元259，但也可以由其他接口和总线结构，诸如并行端口、游戏端口或通用串行总线(USB)连接。如图5中所示的，3-D相机26、RGB相机28、捕捉设备20、以及输入对象55可定义多媒体控制台100的附加输入设备。监视器242或其它类型的显示设备也经由接口，诸如视频接口232连接至系统总线221。除监视器以外，计算机还可以包括其他外围输出设备，诸如扬声器244和打印机243，它们可以通过输出外围接口233连接。
计算机241可使用至一个或多个远程计算机，如远程计算机246的逻辑连接在网络化环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见网络节点，并且通常包括许多或所有以上关于计算机241所描述的元件，尽管在图4中仅示出了存储器存储设备247。图4中所示的逻辑连接包括局域网(LAN)245和广域网(WAN)249，但也可以包括其他网络。这样的联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。
当在LAN网络环境中使用时，计算机241通过网络接口或适配器237连接至LAN 245。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他装置。调制解调器250可以是内置或外置的，它可以经由用户输入接口236或其他适当的机制连接至系统总线221。在网络化环境中，关于计算机241所描述的程序模块或其部分可被储存在远程存储器存储设备中。作为示例而非限制，图4示出远程应用程序248驻留在存储器设备247上。可以理解，所示的网络连接是示例性的，且可以使用在计算机之间建立通信链路的其他手段。
图5示出了通过将所选虚拟对象与场景中的其他虚拟对象隔离来传达深度感的示例方法的流程图。示例方法可使用例如，参考图1A-4所描述的目标识别、分析和跟踪系统10的捕捉设备20和/或计算环境12来实现。在一示例实施例中，该方法可采取可由例如参考图1A-4所描述的目标识别、分析和跟踪系统10的捕捉设备20和/或计算环境12执行的程序代码(即指令)的形式。
根据示例实施例，在505，目标识别、分析、和跟踪系统可接收深度图像。例如，目标识别、分析和跟踪系统可包括诸如参考图1A-2描述的捕捉设备20等捕捉设备。捕捉设备可捕捉或可观测可包括一个或多个目标的场景。在一示例实施例中，捕捉设备可以是深度相机，该深度相机被配置成使用诸如飞行时间分析、结构化光分析、立体视觉分析等任何合适的技术来获得场景的深度图像。
根据一示例实施例，深度图像可以是多个观测到的像素，其中每个观测到的像素具有观测到的深度值。例如，深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每一像素可表示深度值，诸如例如以厘米、毫米等计的、所捕捉的场景中的对象或目标距捕捉设备的长度或距离。
图6图解了可在505处被接收的深度图像600的示例实施例。根据一示例实施例，深度图像600可以是由例如以上参考图2所描述的捕捉设备20的3-D相机26和/或RGB相机28所捕捉的场景的图像或帧。如图6中所示的，深度图像600可包括所捕捉的场景中的一个或多个目标604，诸如人类目标、椅子、桌子、墙壁等。如上所述，深度图像600可包括多个观测到的像素，其中每一观测到的像素具有与其相关联的观测到的深度值。例如，深度图像600可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每一像素可表示深度值，诸如例如以厘米、毫米等计的、所捕捉的场景中的对象或目标距捕捉设备的长度或距离。
回顾图5，在510，目标识别、分析和跟踪系统可标识场景中的目标。在一示例实施例中，场景中的目标可通过定义对象的边界来标识。在定义对象的边界时，可分析深度图像以确定具有基本上相同的相对深度的像素。随后可以按使得形成可被进一步用于定义虚拟对象的边界的方式来编组这些像素。例如，在分析了深度图像之后，处于基本相关深度的数个像素可被编组在一起以指示可能站立在一堵墙前面的人的边界。
在515，目标识别、分析和跟踪系统可为所标识的目标创建虚拟对象。虚拟对象可以是化身、模型、图像、网格模型等。在一个实施例中，可在3-D虚拟世界中创建虚拟对象以表示场景中的目标。例如，模型可用于跟踪和显示人类用户在场景中的移动。
图7图解了可用于跟踪和显示人类用户的移动的模型的示例实施例。根据一示例实施例，模型可包括一个或多个数据结构，这些数据结构可表示例如在诸如深度图像600等深度图像内找到的人类目标。每个身体部位可被表征为定义模型的关节和骨骼的数学向量。例如，关节j7和j11可被表征为一向量，该向量可指示诸如用户18等用户可用来抓握诸如输入对象55等输入对象的手臂的定向。
如图7中所示的，模型可包括一个或多个关节j1-k18。根据一示例实施例，关节j1-j18中的每一个可使得在这些关节之间定义的一个或多个身体部位能相对于一个或多个其他身体部位移动。例如，表示人类目标的模型可包括多个刚性和/或可变形身体部位，这些身体部位由一个或多个诸如“骨骼”等结构件来定义，而关节j1-j18位于毗邻骨骼的交叉点处。关节j1-j18可使得与骨骼和关节j1-j18相关联的各个身体部位能够彼此独立地移动。例如，如图7中所示的，关节j7与j11之间定义的骨骼对应于前臂，该前臂可独立于例如关节j15与j17之间的骨骼——其对应于小腿——移动。
回顾图5，在另一示例实施例中，从与深度图像中的目标相关联的像素获取的深度值可作为虚拟对象的部分来存储。例如，目标识别、分析和跟踪系统可分析深度图像内的目标边界，确定那些边界内的像素，确定与那些像素相关联的深度值，以及在虚拟对象内存储那些深度值。这样做是为了例如免去在以后确定虚拟对象的深度值的需要。
在520，目标识别、分析、和跟踪系统可选择场景中的一个或多个虚拟对象。在一个实施例中，用户可选择虚拟对象。在另一实施例中，可由诸如视频游戏、操作系统、姿势库等应用程序选择一个或多个虚拟对象。例如，视频游戏应用程序可选择对应于用户的虚拟对象和/或对应于用户所持握的网球拍的虚拟对象。
在525，目标识别、分析、和跟踪系统可确定所选虚拟对象的深度值。在一示例实施例中，所选虚拟对象的深度值可通过从所选虚拟对象检索所存储的值来确定。在另一示例实施例中，可从深度图像确定深度值。在使用深度图像时，可标识对应于所选虚拟对象的边界内的像素。一旦进行了标识，就可为每个像素确定深度值。
在530，目标识别、分析和跟踪系统可根据可视化方案隔离所选虚拟对象，以传达深度感。在一示例实施例中，可通过根据着色方案对所选虚拟对象的像素着色来隔离所选虚拟对象。着色方案可以是深度数据的图形表示，其中所选虚拟对象的深度值由色彩来表示。通过使用着色方案，目标识别、分析和跟踪系统可传达所选虚拟对象在3-D虚拟世界和/或场景内可能具有的深度感。着色方案中所用的色彩可包括单色、一定范围的色彩、黑白等的阴影。例如，可选择一定范围的色彩来表示所选虚拟对象与3-D虚拟世界中的用户可能相距的距离。
图6图解了着色方案的示例实施例。在一示例实施例中，深度图像600可被着色，以使得深度图像的像素的不同色彩对应于和/或从视觉上描绘了目标604相距捕捉设备的不同距离。例如，根据一个实施例，深度图像中与最接近捕捉设备的目标相关联的像素可用红色和/或橙色阴影来着色，而深度图像中与较远的目标相关联的像素可用绿色和/或蓝色阴影来着色。
在另一示例实施例中，目标识别、分析和跟踪系统可通过根据RGB相机接收到的图像对属于所选虚拟对象的像素进行着色来隔离所选虚拟对象。RGB图像可以接收自RGB相机，并且可应用于所选虚拟对象。在应用RGB图像之后，可根据着色方案——诸如以上所描述的着色方案中的一个——修改RGB图像。例如，与场景中的网球拍相对应的所选虚拟对象可用网球拍的RGB图像来着色，并使用用于指示3-D虚拟世界中球拍与用户之间的距离着色方案来修改。使用着色方案对RGB图像进行修改可通过混合若干图像、使RGB图像更加透明、向RGB图像应用淡色等来进行。
在另一示例实施例中，目标识别、分析和跟踪系统可通过勾勒出所选虚拟对象的边界以便区分该虚拟对象来隔离所选虚拟对象。可从3-D虚拟世界、深度图像、场景等确定所选虚拟对象的边界。在确定了所选虚拟对象的边界之后，可确定这些边界的像素的相关深度值。随后可使用深度值来根据着色方案——诸如以上所描述的着色方案——对所选虚拟对象的边界着色。例如，可用明黄色来勾勒网球拍的虚拟对象，以指示网球拍在3-D虚拟世界和/或场景中可能在用户的附近。
在另一示例实施例中，目标识别、分析和跟踪系统可通过操纵与所选虚拟对象相关联的网格来隔离所选虚拟对象。可检索和/或创建可与所选虚拟对象相关联的网格模型。随后，可根据着色方案——诸如以上所描述的着色方案中的一个——来对网格模型进行着色。在另一示例实施例中，可将诸如阴影、高光等照明效果应用于虚拟对象和/或网格模型。
在另一示例实施例中，可从RGB相机接收RGB图像并且可将其应用于网格模型。随后，可根据着色方案——诸如先前所描述的着色方案——来修改RGB图像。例如，与场景中的网球拍相对应的所选虚拟对象可用网球拍的RGB图像来着色，并根据用于指示3-D虚拟世界中球拍与用户之间的距离的着色方案来修改。使用着色方案对RGB图像进行修改可通过混合若干图像、使RGB图像更加透明、向RGB图像应用淡色等来进行。
图8图解了通过将定向光标放在所选虚拟对象上来传达深度感的示例方法的流程图。示例方法可使用例如，参考图1A-4所描述的目标识别、分析和跟踪系统10的捕捉设备20和/或计算环境12来实现。在一示例实施例中，方法可采取可由例如参考图1A-4所描述的目标识别、分析和跟踪系统10的捕捉设备20和/或计算环境12执行的程序代码(即指令)的形式。
在805，目标识别、分析和跟踪系统可在3-D虚拟世界和/或场景中选择第一虚拟对象。在一个实施例中，用户可选择第一虚拟对象。在另一实施例中，可由诸如视频游戏、操作系统、姿势库等应用程序选择第一虚拟对象。例如，在计算虚拟世界上运行的视频游戏应用可选择与正被用户持握的网球拍相对应的虚拟对象作为第一虚拟对象。
在810，目标识别、分析和跟踪系统可将第一光标放在第一虚拟对象上。被放在第一虚拟对象上的第一光标可以是一形状、色彩、文本串等，并且可指示第一虚拟对象在3-D虚拟世界中的方位。在指示第一虚拟对象在3-D虚拟世界中的方位时，第一光标可在大小、位置、形状、色彩、文本等上进行改变。例如，当用户所持握的网球拍被挥动时，与网球拍相关联的光标可在大小上被减小以指示球拍可在3-D虚拟世界中进一步远离用户地移动。
图9图解了可用于向用户传达深度感的定向光标的示例实施例。根据一示例实施例，诸如虚拟光标900等虚拟光标可被放在一个或多个虚拟对象上。例如，虚拟光标900可被放在示为网球拍的虚拟对象910上。虚拟光标可在大小、形状、定向、色彩等上改变，以指示虚拟对象在3-D虚拟世界或场景中的方位。在一个实施例中，虚拟光标可指示虚拟对象910和/或虚拟对象905相对于用户的方位。例如，当用户挥动所持握的网球拍时，与网球拍相关联的光标可在大小上被减小以指示网球拍可在3-D虚拟世界中进一步远离用户地移动。
在另一实施例中，虚拟光标指示第一虚拟对象——诸如虚拟对象910——相对于第二虚拟对象——诸如虚拟对象905——的方位。例如，虚拟光标900和901可指向彼此，以指示3-D虚拟世界中这两个虚拟对象可在其处交互的位置。通过使用虚拟光标作为指导，用户可朝其他虚拟对象移动一个虚拟对象。当两个虚拟对象进行接触时，虚拟光标可在大小、形状、定向、色彩等上改变，以指示已发生或将发生交互。
回顾图8，在815，目标识别、分析和跟踪系统可在3-D虚拟世界和/或场景中选择第二虚拟对象。在一个实施例中，用户可选择第二虚拟对象。在另一实施例中，可由诸如视频游戏、操作系统、姿势库等应用程序选择第二虚拟对象。例如，在计算环境上运行的视频游戏应用程序可选择可与3-D虚拟世界中的网球相对应的虚拟对象。
在820，目标识别、分析和跟踪系统可将第二光标放在第二虚拟对象上。被放在第二虚拟对象上的第二光标可以是一形状、色彩、文本串等，并且可指示第二虚拟对象在3-D虚拟世界中的方位。在指示第二虚拟对象在3-D虚拟世界中的方位时，第二光标可在大小、位置、形状、色彩、文本等方面进行改变。例如，当在3-D虚拟世界中网球逼近用户时，与网球相关联的光标可在大小上增大，以指示在3-D虚拟世界中网球可更靠近用户地移动。
在825，目标识别、分析和跟踪系统可向用户通知第一和/或第二虚拟对象处于用于交互的恰当地点。随着第一和/或第二虚拟对象在3-D虚拟世界里到处移动，第一和/或第二虚拟对象可变成位于在其处可能进行用户交互——诸如控制虚拟对象——的区域。例如，在视频游戏应用程序中，用户可与可能在附近的网球交互。为了向用户通知第一和/或第二虚拟对象处于用于交互的适当地点，可修改第一和/或第二光标。在修改第一和/或第二光标时，第一和/或第二光标可在大小、位置、形状、色彩、文本等上改变。例如，当与网球拍相关联的光标与网球具有相同大小和颜色时，持握网球拍的用户可能能够击中虚拟网球。
图10图解了通过挤压网格模型来传达深度感的示例方法的流程图。该示例方法可使用例如，参考图1A-4所描述的目标识别、分析和跟踪系统10的捕捉设备20和/或计算环境12来实现。在一示例实施例中，该方法可采取可由例如参考图1A-4所描述的目标识别、分析和跟踪系统10的捕捉设备20和/或计算环境12执行的程序代码(即指令)的形式。
根据一示例实施例，在1005，目标识别、分析和跟踪系统可接收深度图像。例如，目标识别、分析和跟踪系统可包括诸如参考图1A-2描述的捕捉设备20等捕捉设备。捕捉设备可捕捉或可观察可包括一个或多个目标的场景。在一示例实施例中，捕捉设备可以是深度相机，该深度相机可被配置成使用诸如飞行时间分析、结构化光分析、立体视觉分析等任何合适的技术来获得场景的深度图像。根据一示例实施例，深度图像可以是由图6所例示的深度图像。
在1010，目标识别、分析和跟踪系统可标识场景中的目标。在一示例实施例中，场景中的目标可通过定义边界来标识。在定义边界时，可分析深度图像以确定具有基本上相同的相对深度的像素。随后可以按使得形成可定义虚拟对象的边界的方式来编组这些像素。例如，在分析了深度图像之后，处于基本相关深度的数个像素可被编组在一起以指示可能站立在一堵墙前面的人的边界。
在1015，目标识别、分析和跟踪系统可选择目标。在一个实施例中，用户可选择目标。在另一实施例中，可由诸如视频游戏、操作系统、姿势库等应用程序选择对象。例如，在计算虚拟世界上运行的视频游戏应用程序可选择对应于用户的目标和/或对应于用户所持握的网球拍的目标。
在1020，目标识别、分析和跟踪系统可基于与所选目标相对应的像素来生成顶点。在一示例实施例中，可在可用于创建模型的目标内标识顶点。在标识顶点时，可分析深度图像以确定具有基本上相同的相对深度的像素。可以按形成顶点的方式来编组这些像素。当找到若干顶点时，可以按定义目标的边界的方式来使用这些顶点。例如，在分析了深度图像之后，处于基本相关深度的数个像素可被编组在一起，以形成可表示人的特征的顶点，这些顶点可在随后被用于指示人的边界。
在1025，目标识别、分析和跟踪系统可使用所生成的顶点来创建网格模型。在一示例实施例中，在生成顶点之后，可以按创建网格模型的方式来连接这些顶点。网格模型可在随后用于在3-D虚拟世界中创建表示场景中的对象的虚拟对象。例如，网格模型可用于跟踪用户移动。在另一示例实施例中，可以按深度值可被存储作为网格模型的部分的方式来创建网格模型。深度值可通过例如挤压网格模型来存储。挤压网格模型可通过根据与顶点相关联的深度值在深度场中向前或向后移动顶点来发生。可以按例如使得网格模型可创建目标的3-D表示的方式来执行挤压。
图11图解了可用于向用户传达深度感的网格模型的示例实施例。根据一示例实施例，模型1100可包括一个或多个数据结构，这些数据结构可将例如以上参照图10描述的人类目标表示为3-D模型。例如，模型1100可包括线框网格，该线框网格可具有刚性多边形网格分层结构、一个或多个可变形网格、或其任何组合。根据一示例实施例，网格可包括每个多边形边上的弯曲度限定。如图11中所示的，模型1100可包括多个三角形(例如，三角形1102)，这些三角形被排列成定义包括一个或多个身体部位的身体模型形状的网格。
回顾图10，在1030，目标识别、分析和跟踪系统可使用来自深度图像的深度数据来修改网格模型。可检索和/或创建可与所选目标相关联的网格模型。在已检索和/或创建网格模型之后，可向网格模型应用着色方案——诸如以上所描述的着色方案中的一个。在另一示例实施例中，可将诸如阴影、高光等照明效果应用于虚拟对象和/或网格模型。
在另一示例实施例中，可从RGB相机接收RGB图像并且可将其应用于网格模型。在向网格模型应用RGB图像之后，可根据着色方案——诸如以上所描述的着色方案——修改RGB图像。例如，可与场景中的网球拍相对应的所选虚拟对象可用网球拍的RGB图像来着色，并可使用用于指示球拍与用户之间的距离的着色方案来修改。使用着色方案对RGB图像进行修改可通过混合若干图像、使RGB图像更加透明、向RGB图像应用淡色等来进行。
图12图解了通过将场景中的所选目标与其他目标对象隔离并基于所选目标挤压网格模型来传达深度感的示例方法的流程图。示例方法可使用例如，参考图1A-4所描述的目标识别、分析和跟踪系统10的捕捉设备20和/或计算环境12来实现。在一示例实施例中，该方法可采取可由例如参考图1A-4所描述的目标识别、分析和跟踪系统10的捕捉设备20和/或计算环境12执行的程序代码(即指令)的形式。
在1205，目标识别、分析和跟踪系统可选择场景中的目标。在一个实施例中，用户可选择目标。在另一实施例中，可由诸如视频游戏、操作系统、姿势库等应用程序选择目标。例如，在计算虚拟世界上运行的视频游戏应用程序可选择对应于用户的目标。
在1210，目标识别、分析和跟踪系统可确定所选目标的边界。在一示例实施例中，目标识别、分析和跟踪系统可通过定义所选目标的边界来在深度图像中标识所选目标。例如，可分析深度图像以确定具有基本上相同的相对深度的像素。可以按使得形成可被进一步用于定义深度图像内的所选目标的边界的方式来编组这些像素。例如，在分析了深度图像之后，处于基本相关深度的数个像素可被编组在一起以指示可能站立在一堵墙前面的人的边界。
在1215，目标识别、分析和跟踪系统可基于与所选目标相对应的边界来生成顶点。在一示例实施例中，可使用边界内的点来创建模型。例如，可分析边界内的深度图像像素以确定具有基本上相同的相对深度的像素。可以按生成一个顶点或多个顶点的方式来编组这些像素。
在1220，目标识别、分析和跟踪系统可使用所生成的顶点来创建网格模型。在一示例实施例中，在生成顶点之后，可以按创建网格模型——诸如图11中所例示的网格模型——的方式来连接这些顶点。网格模型可在随后用于在3-D虚拟世界中创建表示场景中的对象的虚拟对象。例如，网格模型可用于跟踪用户移动。在另一示例实施例中，可以按深度值可被存储作为网格模型的部分的方式来创建网格模型。深度值可通过例如挤压网格模型来存储。挤压网格模型可通过根据与顶点相关联的深度值在深度场中向前或向后移动顶点来发生。可以按使得网格模型可创建目标的3-D表示的方式来执行挤压。
在1225，目标识别、分析和跟踪系统可使用来自深度图像的深度数据来修改网格模型。在一示例实施例中，深度值可被用来通过向前或向后移动顶点来挤压网格模型。在另一示例实施例中，可向网格模型应用着色方案——诸如以上所描述的着色方案中的一个。在另一示例实施例中，可将诸如阴影、高光等照明效果应用于虚拟对象和/或网格模型。
在另一示例实施例中，可从RGB相机接收RGB图像并且可将其应用于网格模型。在向网格模型应用RGB图像之后，随后可根据着色方案——诸如以上所描述的着色方案——修改RGB图像。例如，网格模型可与场景中的网球拍相对应，并且可根据网球拍的RGB图像来着色，并根据指示3-D虚拟世界或场景中球拍与用户之间的距离的着色方案来修改。使用着色方案对RGB图像进行修改可通过混合若干图像、使RGB图像更加透明、向RGB图像应用淡色等来进行。

Claims (20)

1.一种用于传达视觉深度感的方法，所述方法包括：
接收场景的深度图像；
确定所述场景中的一个或多个目标的深度值；以及
根据可视化方案来渲染所述场景中的所述一个或多个目标的视觉描绘，所述可视化方案使用为所述一个或多个目标确定的所述深度值。
2.如权利要求1所述的方法，其特征在于，还包括对具有相同的相对深度的深度图像像素进行编组，以定义边界像素。
3.如权利要求2所述的方法，其特征在于，还包括分析所述边界像素以标识场景中的所述一个或多个目标。
4.如权利要求1所述的方法，其特征在于，所述可视化方案包括表示所述一个或多个目标与用户之间的距离的着色方案。
5.如权利要求1所述的方法，其特征在于，渲染所述一个或多个目标的所述视觉描绘还包括：
为所述一个或多个目标中的至少一个生成虚拟模型；以及
根据着色方案对所述虚拟模型进行着色，所述着色方案表示所述一个或多个目标与用户之间的距离。
6.如权利要求1所述的方法，其特征在于，还包括：
接收所述场景中的所述一个或多个目标的RGB图像；以及
将所述RGB图像应用于所述场景中的所述一个或多个目标。
7.如权利要求6所述的方法，其特征在于，所述渲染场景中的一个或多个目标的视觉描绘包括使用表示所述一个或多个目标与用户之间的距离的着色方案来修改所述RGB图像。
8.如权利要求1所述的方法，其特征在于，还包括：
从所述场景中的所述一个或多个目标中选择第一目标和第二目标；
为所述第一目标生成第一光标；
为所述第二目标生成第二光标；以及
根据所述视觉化方案渲染所述第一光标和所述第二光标。
9.一种用于传达深度感的系统，所述系统包括：
处理器，所述处理器用于执行计算机可执行指令，所述计算机可执行指令包括用于以下操作的指令：
接收场景的深度图像；
标识所述场景内的目标；
基于所述深度图像生成与所述目标相对应的顶点；以及
使用所述顶点生成用于表示所述目标的网格模型。
10.如权利要求9所述的系统，其特征在于，所述用于生成顶点的计算机可执行指令包括：
对所述深度图像中具有相同的相对深度的像素进行编组以创建边界像素；
根据所述边界像素定义所述网格模型的所述顶点。
11.如权利要求9所述的系统，其特征在于，所述用于使用顶点生成网格模型的计算机可执行指令包括使用向量来连接所述顶点。
12.如权利要求9所述的系统，其特征在于，所述计算机可执行指令还包括使用来自所述深度图像的深度数据来修改所述网格模型。
13.如权利要求9所述的系统，其特征在于，所述计算机可执行指令还包括：
从所述深度图像确定所述目标的深度数据；以及
通过基于所述深度数据移动所述顶点来挤压所述网格模型。
14.如权利要求9所述的系统，其特征在于，所述计算机可执行指令还包括根据可视化方案渲染所述网格模型，所述可视化方案使用为所述目标确定的深度值。
15.一种其上存储有计算机可执行指令的计算机可读存储介质，所述计算机可执行指令用于传达三维虚拟世界中的深度感，所述计算机可执行指令包括用于以下操作的指令：
标识场景的深度图像内的目标；
生成与在所述场景内标识的所述目标相对应的顶点；以及
根据可视化方案渲染所述目标的视觉描绘，所述可视化方案使用所述顶点。
16.如权利要求15所述的计算机可读存储介质，其特征在于，用于渲染所述目标的视觉描绘的所述计算机可执行指令包括使用所述顶点生成网格模型。
17.如权利要求15所述的计算机可读存储介质，其特征在于，所述可视化方案包括表示所述目标与用户之间的距离的着色方案。
18.如权利要求15所述的计算机可读存储介质，其特征在于，所述计算机可执行指令还包括：
接收所述目标的RGB图像；以及
将所述RGB图像应用于所述目标。
19.如权利要求15所述的计算机可读存储介质，其特征在于，生成所述顶点包括对所述深度图像中具有相同的相对深度的像素进行编组。
20.如权利要求15所述的计算机可读存储介质，其特征在于，所述计算机可执行指令还包括：
为所述目标生成定向光标，所述定向光标传达所述目标的定向；以及
根据所述视觉方案渲染所述定向光标。
CN2010105540949A 2009-11-12 2010-11-11 可视化深度 Pending CN102129709A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/617,012 US20110109617A1 (en) 2009-11-12 2009-11-12 Visualizing Depth
US12/617,012 2009-11-12

Publications (1)

Publication Number Publication Date
CN102129709A true CN102129709A (zh) 2011-07-20

Family

ID=43973830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010105540949A Pending CN102129709A (zh) 2009-11-12 2010-11-11 可视化深度

Country Status (2)

Country Link
US (1) US20110109617A1 (zh)
CN (1) CN102129709A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104115494A (zh) * 2011-11-30 2014-10-22 高通股份有限公司 用于多视图视频译码mvc兼容三维视频译码3dvc的嵌套式sei消息
CN105637559A (zh) * 2013-09-11 2016-06-01 高通股份有限公司 使用深度传感器的结构建模
CN106204408A (zh) * 2014-12-23 2016-12-07 联发科技股份有限公司 绘图处理电路及其前置深度信息处理方法
CN106709432A (zh) * 2016-12-06 2017-05-24 成都通甲优博科技有限责任公司 基于双目立体视觉的人头检测计数方法
CN106780693A (zh) * 2016-11-15 2017-05-31 广州视源电子科技股份有限公司 一种通过绘制方式选择三维场景中物体的方法及系统
CN106823333A (zh) * 2017-03-27 2017-06-13 京东方科技集团股份有限公司 智能棒球设备和头盔以及辅助判断好球的方法
CN110264576A (zh) * 2013-11-14 2019-09-20 微软技术许可有限责任公司 使用透明度来在场景中呈现标记
CN110321772A (zh) * 2018-03-30 2019-10-11 Cae有限公司 动态影响视觉元素的定制视觉渲染
TWI686770B (zh) * 2017-12-26 2020-03-01 宏達國際電子股份有限公司 表面擷取方法、裝置及非暫態電腦可讀取記錄媒體
CN112534479A (zh) * 2018-07-23 2021-03-19 微软技术许可有限责任公司 用于减少视觉噪声的深度射线层

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120009564A (ko) * 2010-07-19 2012-02-02 삼성전자주식회사 3차원 마우스 포인터 생성방법 및 생성장치
KR101708696B1 (ko) * 2010-09-15 2017-02-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
WO2012073824A1 (ja) 2010-12-03 2012-06-07 ソニー株式会社 ３ｄデータ解析装置および３ｄデータ解析方法ならびに３ｄデータ解析プログラム
US9734637B2 (en) * 2010-12-06 2017-08-15 Microsoft Technology Licensing, Llc Semantic rigging of avatars
KR101852428B1 (ko) * 2011-03-09 2018-04-26 엘지전자 주식회사 이동 단말기 및 그의 3ｄ객체 제어방법
CN102707804B (zh) * 2011-05-23 2015-03-25 中国科学院软件研究所 一种基于加速度传感器的角色动作控制方法
US20120306849A1 (en) * 2011-05-31 2012-12-06 General Electric Company Method and system for indicating the depth of a 3d cursor in a volume-rendered image
US8553942B2 (en) 2011-10-21 2013-10-08 Navteq B.V. Reimaging based on depthmap information
US9116011B2 (en) 2011-10-21 2015-08-25 Here Global B.V. Three dimensional routing
US9047688B2 (en) 2011-10-21 2015-06-02 Here Global B.V. Depth cursor and depth measurement in images
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US20130141433A1 (en) * 2011-12-02 2013-06-06 Per Astrand Methods, Systems and Computer Program Products for Creating Three Dimensional Meshes from Two Dimensional Images
US9404764B2 (en) 2011-12-30 2016-08-02 Here Global B.V. Path side imagery
US9024970B2 (en) 2011-12-30 2015-05-05 Here Global B.V. Path side image on map overlay
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
EP2847661A2 (en) 2012-05-09 2015-03-18 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
CN104487928B (zh) 2012-05-09 2018-07-06 苹果公司 用于响应于手势而在显示状态之间进行过渡的设备、方法和图形用户界面
CN107977084B (zh) 2012-05-09 2021-11-05 苹果公司 用于针对在用户界面中执行的操作提供触觉反馈的方法和装置
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
CN109298789B (zh) 2012-05-09 2021-12-31 苹果公司 用于针对激活状态提供反馈的设备、方法和图形用户界面
AU2013259637B2 (en) 2012-05-09 2016-07-07 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
AU2013259606B2 (en) 2012-05-09 2016-06-02 Apple Inc. Device, method, and graphical user interface for displaying additional information in response to a user contact
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
US10223107B2 (en) 2012-05-29 2019-03-05 Nokia Technologies Oy Supporting the provision of services
US8896594B2 (en) 2012-06-30 2014-11-25 Microsoft Corporation Depth sensing with depth-adaptive illumination
US9547937B2 (en) * 2012-11-30 2017-01-17 Legend3D, Inc. Three-dimensional annotation system and method
EP2939096B1 (en) 2012-12-29 2019-08-28 Apple Inc. Device, method, and graphical user interface for determining whether to scroll or select contents
WO2014105275A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
EP2939095B1 (en) * 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
CN103785174B (zh) * 2014-02-26 2016-08-17 北京智明星通科技有限公司 一种游戏同一屏幕显示万人的方法和系统
US11243294B2 (en) 2014-05-19 2022-02-08 Rockwell Automation Technologies, Inc. Waveform reconstruction in a time-of-flight sensor
US9921300B2 (en) 2014-05-19 2018-03-20 Rockwell Automation Technologies, Inc. Waveform reconstruction in a time-of-flight sensor
US20150334371A1 (en) * 2014-05-19 2015-11-19 Rockwell Automation Technologies, Inc. Optical safety monitoring with selective pixel array analysis
US9721385B2 (en) 2015-02-10 2017-08-01 Dreamworks Animation Llc Generation of three-dimensional imagery from a two-dimensional image using a depth map
US9897806B2 (en) * 2015-02-10 2018-02-20 Dreamworks Animation L.L.C. Generation of three-dimensional imagery to supplement existing content
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
DE102016212240A1 (de) * 2016-07-05 2018-01-11 Siemens Aktiengesellschaft Verfahren zur Interaktion eines Bedieners mit einem Modell eines technischen Systems
US10489651B2 (en) 2017-04-14 2019-11-26 Microsoft Technology Licensing, Llc Identifying a position of a marker in an environment
US10692287B2 (en) 2017-04-17 2020-06-23 Microsoft Technology Licensing, Llc Multi-step placement of virtual objects
US20190012835A1 (en) 2017-07-07 2019-01-10 Microsoft Technology Licensing, Llc Driving an Image Capture System to Serve Plural Image-Consuming Processes
US10558260B2 (en) 2017-12-15 2020-02-11 Microsoft Technology Licensing, Llc Detecting the pose of an out-of-range controller
US20190213792A1 (en) 2018-01-11 2019-07-11 Microsoft Technology Licensing, Llc Providing Body-Anchored Mixed-Reality Experiences
US20190228580A1 (en) * 2018-01-24 2019-07-25 Facebook, Inc. Dynamic Creation of Augmented Reality Effects
US10964106B2 (en) * 2018-03-30 2021-03-30 Cae Inc. Dynamically modifying visual rendering of a visual element comprising pre-defined characteristics
CN110400372B (zh) * 2019-08-07 2023-10-20 网易（杭州）网络有限公司 一种图像处理的方法及装置、电子设备、存储介质
CN113827965B (zh) * 2021-09-28 2022-09-13 完美世界(北京)软件科技发展有限公司 游戏场景中样条线的渲染方法、装置及设备
CN115578516A (zh) * 2022-10-19 2023-01-06 京东科技控股股份有限公司 一种三维成像方法、装置、设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5293529A (en) * 1991-03-12 1994-03-08 Matsushita Electric Industrial Co., Ltd. Three-dimensional information handling system
US20020186216A1 (en) * 2001-06-11 2002-12-12 Baumberg Adam Michael 3D computer modelling apparatus
US20070216680A1 (en) * 2006-03-17 2007-09-20 Microsoft Corporation Surface Detail Rendering Using Leap Textures
US7372977B2 (en) * 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
US20080152191A1 (en) * 2006-12-21 2008-06-26 Honda Motor Co., Ltd. Human Pose Estimation and Tracking Using Label Assignment
CN101542535A (zh) * 2007-02-22 2009-09-23 汤姆科技成像系统有限公司 用于在2d图像中描绘3d图像的数据组的方法和设备

Family Cites Families (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4288078A (en) * 1979-11-20 1981-09-08 Lugo Julio I Game apparatus
US4695953A (en) * 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) * 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) * 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) * 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) * 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) * 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) * 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) * 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) * 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) * 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) * 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) * 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) * 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) * 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) * 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) * 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) * 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) * 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) * 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) * 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) * 1990-02-13 1991-10-29
US5101444A (en) * 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) * 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) * 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) * 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) * 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US5320538A (en) * 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5405152A (en) * 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) * 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5347306A (en) * 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
US5385519A (en) * 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) * 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
US5516105A (en) * 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
JPH11508359A (ja) * 1995-06-22 1999-07-21 ３ディブイ・システムズ・リミテッド 改善された光学測距カメラ
IL114278A (en) * 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
US6697748B1 (en) * 1995-08-07 2004-02-24 Immersion Corporation Digitizing system and rotary table for determining 3-D geometry of an object
US5774111A (en) * 1996-02-12 1998-06-30 Dassault Systemes Method and apparatus for providing a dynamically oriented compass cursor on computer displays
US6084979A (en) * 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
US6124864A (en) * 1997-04-07 2000-09-26 Synapix, Inc. Adaptive modeling and segmentation of visual image streams
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6950534B2 (en) * 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
US6573896B1 (en) * 1999-07-08 2003-06-03 Dassault Systemes Three-dimensional arrow
DE69922706T2 (de) * 1999-09-08 2005-12-08 3Dv Systems Ltd. 3d- bilderzeugungssystem
US7050177B2 (en) * 2002-05-22 2006-05-23 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
US7006236B2 (en) * 2002-05-22 2006-02-28 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
DE19960180B4 (de) * 1999-12-14 2006-03-09 Rheinmetall W & M Gmbh Verfahren zur Herstellung eines Sprenggeschosses
US6674877B1 (en) * 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US7065242B2 (en) * 2000-03-28 2006-06-20 Viewpoint Corporation System and method of three-dimensional image capture and modeling
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
JP3725460B2 (ja) * 2000-10-06 2005-12-14 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US7137891B2 (en) * 2001-01-31 2006-11-21 Sony Computer Entertainment America Inc. Game playing system with assignable attack icons
US6539931B2 (en) * 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7043701B2 (en) * 2002-01-07 2006-05-09 Xerox Corporation Opacity desktop with depth perception
AU2003217587A1 (en) * 2002-02-15 2003-09-09 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7310431B2 (en) * 2002-04-10 2007-12-18 Canesta, Inc. Optical methods for remotely measuring objects
US7646372B2 (en) * 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7883415B2 (en) * 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US7623115B2 (en) * 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US7151530B2 (en) * 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
US6692441B1 (en) * 2002-11-12 2004-02-17 Koninklijke Philips Electronics N.V. System for identifying a volume of interest in a volume rendered ultrasound image
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
JP3847753B2 (ja) * 2004-01-30 2006-11-22 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
KR100519779B1 (ko) * 2004-02-10 2005-10-07 삼성전자주식회사 깊이영상기반 3차원 그래픽 데이터의 고속 시각화 방법 및장치
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
WO2006025137A1 (ja) * 2004-09-01 2006-03-09 Sony Computer Entertainment Inc. 画像処理装置、ゲーム装置および画像処理方法
EP1645944B1 (en) * 2004-10-05 2012-08-15 Sony France S.A. A content-management interface
JP4449723B2 (ja) * 2004-12-08 2010-04-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US8009871B2 (en) * 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
EP1851727A4 (en) * 2005-02-23 2008-12-03 Craig Summers AUTOMATIC SCENES MODELING FOR 3D CAMERA AND 3D VIDEO
KR100688743B1 (ko) * 2005-03-11 2007-03-02 삼성전기주식회사 멀티 레이어 커패시터 내장형의 인쇄회로기판의 제조방법
WO2006099597A2 (en) * 2005-03-17 2006-09-21 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
GB2431717A (en) * 2005-10-31 2007-05-02 Sony Uk Ltd Scene analysis
KR100722229B1 (ko) * 2005-12-02 2007-05-29 한국전자통신연구원 사용자 중심형 인터페이스를 위한 가상현실 상호작용 인체모델 즉석 생성/제어 장치 및 방법
EP1804154A3 (en) * 2005-12-27 2012-08-08 Poston Timothy Computer input device enabling three degrees of freedom and related input and feedback methods
CN101496032B (zh) * 2006-02-27 2011-08-17 普莱姆传感有限公司 使用斑纹解相关的距离映射的方法及设备
WO2007130693A2 (en) * 2006-05-07 2007-11-15 Sony Computer Entertainment Inc. Methods and systems for processing an interchange of real time effects during video communication
US7721207B2 (en) * 2006-05-31 2010-05-18 Sony Ericsson Mobile Communications Ab Camera based control
US8395658B2 (en) * 2006-09-07 2013-03-12 Sony Computer Entertainment Inc. Touch screen-like user interface that does not require actual touching
US20080134102A1 (en) * 2006-12-05 2008-06-05 Sony Ericsson Mobile Communications Ab Method and system for detecting movement of an object
GB0703974D0 (en) * 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
US20090221368A1 (en) * 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
GB2455316B (en) * 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
US8149210B2 (en) * 2007-12-31 2012-04-03 Microsoft International Holdings B.V. Pointing device and method
WO2010029553A1 (en) * 2008-09-11 2010-03-18 Netanel Hagbi Method and system for compositing an augmented reality scene
US8624962B2 (en) * 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
US8292733B2 (en) * 2009-08-31 2012-10-23 Disney Enterprises, Inc. Entertainment system providing dynamically augmented game surfaces for interactive fun and learning

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5293529A (en) * 1991-03-12 1994-03-08 Matsushita Electric Industrial Co., Ltd. Three-dimensional information handling system
US20020186216A1 (en) * 2001-06-11 2002-12-12 Baumberg Adam Michael 3D computer modelling apparatus
US7372977B2 (en) * 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
US20070216680A1 (en) * 2006-03-17 2007-09-20 Microsoft Corporation Surface Detail Rendering Using Leap Textures
US20080152191A1 (en) * 2006-12-21 2008-06-26 Honda Motor Co., Ltd. Human Pose Estimation and Tracking Using Label Assignment
CN101542535A (zh) * 2007-02-22 2009-09-23 汤姆科技成像系统有限公司 用于在2d图像中描绘3d图像的数据组的方法和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
全红艳: "基于视觉的增强现实技术研究综述", 《机器人》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104115494A (zh) * 2011-11-30 2014-10-22 高通股份有限公司 用于多视图视频译码mvc兼容三维视频译码3dvc的嵌套式sei消息
CN104115494B (zh) * 2011-11-30 2018-06-08 高通股份有限公司 用于多视图视频译码mvc兼容三维视频译码3dvc的嵌套式sei消息
US10154276B2 (en) 2011-11-30 2018-12-11 Qualcomm Incorporated Nested SEI messages for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
US10158873B2 (en) 2011-11-30 2018-12-18 Qualcomm Incorporated Depth component removal for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
US10200708B2 (en) 2011-11-30 2019-02-05 Qualcomm Incorporated Sequence level information for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
CN105637559B (zh) * 2013-09-11 2019-03-01 高通股份有限公司 使用深度传感器的结构建模
CN105637559A (zh) * 2013-09-11 2016-06-01 高通股份有限公司 使用深度传感器的结构建模
US10789776B2 (en) 2013-09-11 2020-09-29 Qualcomm Incorporated Structural modeling using depth sensors
US9934611B2 (en) 2013-09-11 2018-04-03 Qualcomm Incorporated Structural modeling using depth sensors
CN110264576A (zh) * 2013-11-14 2019-09-20 微软技术许可有限责任公司 使用透明度来在场景中呈现标记
CN106204408A (zh) * 2014-12-23 2016-12-07 联发科技股份有限公司 绘图处理电路及其前置深度信息处理方法
CN106780693B (zh) * 2016-11-15 2020-03-10 广州视源电子科技股份有限公司 一种通过绘制方式选择三维场景中物体的方法及系统
CN106780693A (zh) * 2016-11-15 2017-05-31 广州视源电子科技股份有限公司 一种通过绘制方式选择三维场景中物体的方法及系统
CN106709432B (zh) * 2016-12-06 2020-09-11 成都通甲优博科技有限责任公司 基于双目立体视觉的人头检测计数方法
CN106709432A (zh) * 2016-12-06 2017-05-24 成都通甲优博科技有限责任公司 基于双目立体视觉的人头检测计数方法
CN106823333A (zh) * 2017-03-27 2017-06-13 京东方科技集团股份有限公司 智能棒球设备和头盔以及辅助判断好球的方法
TWI686770B (zh) * 2017-12-26 2020-03-01 宏達國際電子股份有限公司 表面擷取方法、裝置及非暫態電腦可讀取記錄媒體
US10719982B2 (en) 2017-12-26 2020-07-21 Htc Corporation Surface extrction method, apparatus, and non-transitory computer readable storage medium thereof
CN110321772A (zh) * 2018-03-30 2019-10-11 Cae有限公司 动态影响视觉元素的定制视觉渲染
CN110321772B (zh) * 2018-03-30 2024-03-29 Cae有限公司 动态影响视觉元素的定制视觉渲染
CN112534479A (zh) * 2018-07-23 2021-03-19 微软技术许可有限责任公司 用于减少视觉噪声的深度射线层

Also Published As

Publication number Publication date
US20110109617A1 (en) 2011-05-12

Similar Documents

Publication Publication Date Title
CN102129709A (zh) 可视化深度
CN102448565B (zh) 将骨架数据实时重新定标到游戏化身的系统和方法
CN102135798B (zh) 仿生学运动
US9972137B2 (en) Systems and methods for augmented reality preparation, processing, and application
CN102448562B (zh) 用于跟踪模型的系统和方法
CN102665838B (zh) 用于确定和跟踪目标的肢端的方法和系统
CN102576466B (zh) 用于跟踪模型的系统和方法
CN102301398B (zh) 用于捕捉场景的深度信息的设备、方法和系统
CN102549619B (zh) 人类跟踪系统
CN102163324B (zh) 深度图像的去混叠
CN102306051B (zh) 复合姿势-语音命令
CN102413885B (zh) 用于对运动捕捉应用模型跟踪的系统和方法
CN102141838B (zh) 基于视觉的身份跟踪
CN102448563B (zh) 用于处理场景的深度信息的方法和设备
CN102129293B (zh) 在运动捕捉系统中跟踪用户组
CN102596340B (zh) 用于将动画或运动应用到角色的系统和方法
CN102253712B (zh) 用于共享信息的识别系统
CN102135799A (zh) 与基于计算机的应用的交互
CN102541438A (zh) 集成话音命令模态的用户界面
CN102576463A (zh) 用于移除图像的背景的系统和方法
CN102253711A (zh) 使用深度传感相机来增强演示
CN102087738A (zh) 用于为目标跟踪处理图像的系统和方法
CN102222329A (zh) 深度检测的光栅扫描
CN102184531A (zh) 深度图置信过滤
CN105073210A (zh) 使用深度图像的用户身体角度、曲率和平均末端位置提取

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150803

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150803

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110720