CN105164617B - 自主nui设备的自发现 - Google Patents

自主nui设备的自发现 Download PDF

Info

Publication number
CN105164617B
CN105164617B CN201480018853.6A CN201480018853A CN105164617B CN 105164617 B CN105164617 B CN 105164617B CN 201480018853 A CN201480018853 A CN 201480018853A CN 105164617 B CN105164617 B CN 105164617B
Authority
CN
China
Prior art keywords
time window
equipment
window
operating time
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480018853.6A
Other languages
English (en)
Other versions
CN105164617A (zh
Inventor
D·易
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105164617A publication Critical patent/CN105164617A/zh
Application granted granted Critical
Publication of CN105164617B publication Critical patent/CN105164617B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0382—Plural input, i.e. interface arrangements in which a plurality of input device of the same type are in communication with a PC

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种向捕捉设备提供在存在其他这样的设备的情况下自主地确定其自己的操作窗口的系统和方法。捕捉设备包括成像传感器，该成像传感器具有视野和照明源。处理器包括指令处理器扫描视野以查找在该捕捉设备附近的、在循环时间窗口中操作的另一照明源的代码。如果在该循环窗口内发生来自另一源的照明，则第二照明源的操作窗口被确定为是循环窗口内为该捕捉设备建立的新操作窗口。

Description

自主NUI设备的自发现
背景
在过去，诸如计算机游戏和多媒体应用之类的计算应用已使用控制器、遥控器、键盘、鼠标等来允许用户操纵应用的游戏角色或其他方面。近来，计算机游戏和多媒体应用已开始使用相机和运动识别来提供人机接口(“HCI”)。使用HCI，检测、解释用户姿势并使用用户姿势来控制应用的游戏角色或其他方面。
存在其中用户寻求在同一位置使用不同的处理设备来共同参与游戏的多个游戏应用。通常，当使用成像来提供人机接口的设备中的每一者都在其自身的处理系统上分开地操作时，这些设备不具有用于确保正确操作的机制。
概述
提供了使得多个捕捉设备能够在同一物理空间中以自主方式进行交互的技术。每一捕捉设备都包括使用具有视野和照明源的成像传感器来捕捉用户在第一物理环境中的设备检测移动的能力。在初始化或校准设备之际，代码指令控制照明源和传感器的处理器使照明源断电并使用深度成像传感器扫描视野以查找在循环时间窗口中操作的任何其他照明源。如果检测到任何其他照明源，则确定该循环窗口内其他照明源的操作时间窗口的定时，并在这些操作窗口之外但在这些设备的循环脉宽窗口之内建立当前设备的非冲突操作窗口。这允许每一设备在此后通过使深度照明源重复地在任何现有操作窗口之外的时间处加入新循环操作窗口来在其自己的操作窗口内操作，并在该新操作窗口内接收从该设备照明源反射的照明。
提供本概述是为了以精简的形式介绍将在以下详细描述中进一步描述的一些概念。该概述不意图标识所要求保护的主题的关键特征或基本特征，也不意图被用来帮助确定所要求保护的主题的范围。
附图简述
图1示出了目标识别、分析及跟踪系统的一个实施例，其中用户正执行姿势以控制用户界面。
图2示出根据本技术的捕捉设备的一个实施例。
图3示出本技术的相机照明和捕捉技术的一个实施例。
图4是描述用于跟踪用户运动的过程的一个实施例的流程图。
图5是对物理空间中正利用两个不同的捕捉设备和处理系统的两个用户的描绘。
图6是描述用于在存在其他捕捉设备的情况下校准或初始化一捕捉设备的一个实施例的流程图。
图7A和7B相对于循环窗口示出各操作窗口。
图8示出了根据本技术的第一处理设备。
图9示出了根据本技术的第二处理设备。
详细描述
提供了用于使得提供自然用户界面的多个捕捉设备能够在同一物理空间中进行交互的技术。每一捕捉设备都包括捕捉检测用户在第一物理环境中的移动的设备的能力。每一捕捉设备都包括具有视野的深度成像传感器和设备照明源。在初始化或校准设备之际，代码指令控制照明源和传感器的处理器使照明源断电并使用深度成像传感器来扫描视野以查找该捕捉设备附近的、在循环时间窗口中操作的任何其他照明源。如果检测到任何其他照明源，则确定关于循环窗口内的其他照明源的任何操作时间窗口，并在这些操作窗口之外但在这些设备的循环脉宽窗口之内建立当前设备的非冲突操作窗口。这允许每一设备在此后通过使深度照明源在任何现有操作窗口之外的时间处重复地加入新循环操作窗口来在其自己的操作窗口之内操作，并在新操作窗口内接收从该设备照明源反射的照明。
图1示出了目标识别、分析和跟踪系统10(下文中统称为跟踪系统)的一个实施例，其中用户18正在与用户界面23进行交互。目标识别、分析和跟踪系统10可用来识别、分析和/或跟踪诸如用户18之类的人类目标，并提供人类控制的界面。
如图1所示，跟踪系统10可包括计算环境12。计算环境12可以是计算机、游戏系统或控制台等。根据一个实施例，计算环境12可包括硬件组件和/或软件组件，使得计算环境12可用于执行操作系统和诸如游戏应用、非游戏应用等的应用。在一个实施例中，计算环境12可包括诸如标准化处理器、专用处理器、微处理器等处理器，该处理器可执行存储在处理器可读存储设备上的用于执行本文中描述的过程的指令。
如图1所示，跟踪系统10还可包括捕捉设备20。捕捉设备20可以是例如相机，该相机可用于在视觉上监视诸如用户18之类的一个或多个用户，以使得可以捕捉、分析并跟踪一个或多个用户所执行的姿势以执行针对操作系统或应用的用户界面的一个或多个控制或动作。
捕捉设备可被定位在三轴定位马达上，从而允许捕捉设备相对于其上安装该捕捉设备的底座元件移动。定位马达使得捕捉设备能够扫描其中放置有捕捉设备20的物理环境100的更大范围。
根据一个实施例，跟踪系统10可连接至可向诸如用户18等的用户提供游戏或应用视觉和/或音频的视听设备16，诸如电视机、监视器、高清电视机(HDTV)等。例如，计算环境12可包括诸如图形卡之类的视频适配器和/或诸如声卡之类的音频适配器，这些适配器可提供与游戏应用、非游戏应用等相关联的视听信号。视听设备16可以接收来自计算环境12的视听信号，并可向用户18输出与该视听信号相关联的游戏或应用视觉和/或音频。根据一个实施例，视听设备16可经由例如S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算环境12。
如图1所示，目标识别、分析和跟踪系统10可用于识别、分析和/或跟踪诸如用户18之类的一个或多个人类目标。例如，可使用捕捉设备20来跟踪用户18，使得可将用户18的移动解释为可用于影响正由计算环境12执行的应用或操作系统的控制。
考虑诸如在计算环境12上执行的拳击游戏之类的用户界面应用。计算环境12可以使用视听设备16来向用户18提供拳击对手的视觉表示，并使用视听设备16来提供用户18可用他或她的移动来控制的游戏化身的视觉表示。用户18可在物理空间中作出移动(例如，挥拳)以使得玩家化身在游戏空间中作出相应的移动。可在物理空间中识别并分析用户的移动，使得执行用于对游戏空间中玩家化身的游戏控制的相应移动。
某些移动可被解释为可与除控制玩家化身或其他游戏对象之外的动作相对应的控制。例如，玩家可以使用移动来结束、暂停或保存游戏、选择级别、查看高分、与朋友交流等。事实上操作系统和/或应用的任何可控方面可由诸如用户18等目标的移动来控制。玩家可使用移动来从主用户界面选择游戏或其他应用。用户18的全范围运动可以用任何合适的方式来获得、使用并分析以与应用或操作系统进行交互。
在图1中，用户18正与跟踪系统10交互以控制系统用户界面(UI)23，在该具体示例中该系统用户界面正在显示菜单项320-330的列表310。个体项目可代表应用或其他UI对象。用户可在列表310中向左或向右滚动(如从用户的视点来看)以查看不在当前显示中但也与该列表相关联的其他菜单项，选择该菜单项以触发诸如打开该菜单项所表示的应用之类的动作或对该项的进一步UI控制。用户还可通过UI回退移动到UI层次结构中更高级的菜单项。
该系统可包括姿势识别，以使得用户可通过执行一个或多个姿势来控制正在计算环境12上执行的应用或操作系统，计算环境12如以上所讨论的可以是游戏控制台、计算机等。在一个实施例中，姿势识别器引擎(其架构在以下更完全描述)用于从用户的骨架模型确定用户何时作出了特定姿势。
一般来说，如图1中所指示的，用户18在使用捕捉设备20时被限制于物理环境100。环境100一般是捕捉设备20的最佳执行范围。
虚拟对象导航系统可利用身体部位跟踪系统，该身体部位跟踪系统使用诸如头部、肩部、髋中心、膝盖、踝部等一些身体部位的位置来计算一些导出量，并随后使用这些量来按模拟方式而非数字方式实时地连续(即逐帧地)计算出虚拟观察者的相机位置(即，用户的细微移动导致相机的细微移动，以使得不是简单的向左/向右移动，用户可精确地向左/向右或以任何其他方向慢速或快速地移动相机)。
例如，手或其他身体部位的各种运动可对应于常见的系统级任务，诸如在分层菜单结构中向上或向下导航、在菜单列表中滚动各项、打开文件、关闭文件和保存文件。姿势也可取决于游戏在视频游戏专用上下文中使用。例如，在驾驶游戏中，手和脚的各种运动可对应于在某方向上驾驶车辆、换档、加速和刹车。
在图1中，用户执行用右手的姿势以如从用户的视点来看向左滚动菜单项列表。如图1中所示，用户以他的右手在位置304开始，然后朝向他的身体的左侧将右手移动到位置306。当用户以他的手在位置304开始该姿势时，菜单项320-328的列表310处于图1中的第一位置。在图2中，用户已经将其手移到位置306，通过将菜单项的列表310向左滚动使得菜单项的列表改变。作为向左(如在用户18的视角中定义的)滚动的结果，已将菜单项320从该列表移走。项322-328中的每一者都已向左移动一个位置，从而取代紧接在前的项的位置。作为从右到左滚动的结果，已将项330添加到列表。
图2示出了捕捉设备20和计算设备12的一个实施例，它们可以在目标识别、分析和跟踪系统10中使用，以识别捕捉环境100中的人类或非人类目标(而无需将特殊的感测设备附连到这些主体)，并在三维空间中唯一地标识这些目标并跟踪这些目标。根据一个实施例，捕捉设备20可被配置成经由任何合适的技术，包括例如飞行时间、结构化光、立体图像等来捕捉具有深度信息的视频，该深度信息包括可以包括深度值的深度图像。根据一个实施例，捕捉设备20可将计算出的深度信息组织成“Z层”，即可与从深度相机沿其视线延伸的Z轴相垂直的层。
如图2所示，捕捉设备20可包括图像相机组件32。根据一个实施例，图像相机组件32可以是可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每个像素都可以表示深度值，比如所捕捉的场景中的对象与相机相距的例如以厘米、毫米等为单位的距离。
如图2所示，图像相机组件32可包括可被用来捕捉捕捉区域的深度图像的IR光源34、三维(3-D)相机36、以及RGB相机38。例如，在飞行时间分析中，捕捉设备20的IR光源34可以将红外光发射到捕捉区域上，然后可以使用传感器，用例如3-D相机36和/或RGB相机38来检测从捕捉区域中的一个或多个目标和对象的表面反向散射的光。在某些实施例中，可以使用脉冲式红外光从而可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从捕捉设备20到捕捉区域中的目标或对象上的特定位置的物理距离。此外，可将出射光波的相位与入射光波的相位进行比较来确定相移。然后可以使用该相移来确定从捕捉设备到目标或对象上的特定位置的物理距离。
根据一个实施例，可使用飞行时间分析，通过经由包括例如快门式光脉冲成像的各种技术来分析反射光束随时间的强度变化以间接地确定从捕捉设备20到目标或对象上的特定位置的物理距离。
在另一示例中，捕捉设备20可使用结构化光来捕捉深度信息。在该分析中，图案化光(即，被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如IR光源34被投射到捕捉区域上。在撞击到捕捉区域中的一个或多个目标或对象的表面时，作为响应，图案可变形。图案的这种变形可由例如3-D相机36和/或RGB相机38来捕捉，然后可被分析来确定从捕捉设备到目标或对象上的特定位置的物理距离。
根据一个实施例，捕捉设备20可包括可以从不同的角度观察捕捉区域的两个或更多个在物理上分离的相机，以获取可以被解析以生成深度信息的视觉立体数据。也可使用其它类型的深度图像传感器来创建深度图像。
捕捉设备20还可包括话筒40。话筒40可包括可接收声音并将其转换成电信号的换能器或传感器。根据一个实施例，话筒40可用于减少目标识别、分析和跟踪系统10中的捕捉设备20与计算环境12之间的反馈。另外，话筒40可用于接收也可由用户提供的音频信号，以控制可由计算环境12执行的诸如游戏应用、非游戏应用等之类的应用。
在一个实施例中，话筒40包括具有多个元素(例如，四个元素)的话筒阵列。话筒的多个元素可与各波束形成技术结合用于实现空间选择性。在一个实施例中，捕捉设备20还可以包括可以在操作上与图像相机组件32进行通信的处理器42。处理器42可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令可包括用于存储简档的指令、用于接收深度图像的指令、用于确定合适的目标是否被包括在深度图像中的指令、用于将合适的目标转换成该目标的骨架表示或模型的指令、或任何其他合适的指令。
处理器42可包括能够调整色彩、亮度、色调、锐化和所捕捉的数字图像的其他元素的成像信号处理器。
捕捉设备20还可包括存储器组件44，存储器组件34可存储可由处理器42执行的指令、由3-D相机或RGB相机所捕捉的图像或图像的帧、用户简档、或任何其他合适的信息、图像等等。根据一个示例，存储器组件44可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘、或任何其他合适的存储组件。如图3所示，存储器组件44可以是与图像捕捉组件32和处理器42进行通信的分开的组件。在另一实施例中，存储器组件44可被集成到处理器42和/或图像捕捉组件32中。在一个实施例中，图2中示出的捕捉设备20的组件32、34、36、38、40、42和44中的一些或全部被容纳在单一壳体中。
捕捉设备20可以经由通信链路46与计算环境12进行通信。通信链路46可以是包括例如USB连接、火线连接、以太网电缆连接等有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等的无线连接。计算环境12可以向捕捉设备20提供时钟，可以使用该时钟来通过通信链路46确定何时捕捉例如场景。
捕捉设备20可经由通信链路46来向计算环境12提供由例如3-D相机36和/或RGB相机38捕捉的深度信息和图像，包括可由捕捉设备20生成的骨架模型。计算环境12然后可使用骨架模型、深度信息和所捕捉的图像来例如创建虚拟屏幕、适应用户界面、以及控制诸如游戏或文字处理程序等应用。
运动跟踪系统191使用骨架模型和深度信息来向在捕捉设备20耦合到的处理设备上的应用提供控制输出。深度信息同样可被姿势库192、结构数据198、姿势识别引擎190、深度图像处理和对象报告模块194以及操作系统196使用。深度图像处理和对象报告模块194使用深度图像来跟踪诸如用户和其他对象等对象的运动。深度图像处理和对象报告模块194会将检测到的每个对象的标识以及每帧的对象的位置报告给操作系统196。操作系统196将使用该信息来更新化身或其他图像在显示中的位置或移动，或对所提供的用户界面执行一动作。为了帮助跟踪对象，深度图像处理和对象报告模块194使用姿势库190、结构数据198和姿势识别引擎190。
计算系统12可包括利用捕捉设备所收集的信息以供用户18使用的一个或多个应用300。在捕捉设备的存储器中的校准或初始化组件197实现本文中公开的允许如本文中讨论的多个设备的自主操作的技术。
结构数据198包括关于可被跟踪的对象的结构信息。例如，可以存储人类的骨架模型以帮助理解用户的移动并识别身体部位。还可以存储关于非生命对象的结构信息以帮助识别这些对象并帮助理解移动。
姿势库192可包括姿势过滤器的集合，每一姿势过滤器包括和骨架模型(在用户移动时)可执行的姿势有关的信息。姿势识别引擎190可将由相机36、38和设备20捕捉的、骨架模型以及与其相关联的移动等形式的数据与姿势库192中的姿势过滤器进行比较，以标识(如由骨架模型表示的)用户何时作出了一个或多个姿势。那些姿势可与应用的各种控制相关联。因此，计算环境12可使用姿势库190来解释骨架模型的移动并基于这些移动来控制操作系统196或应用(未示出)。
关于识别器引擎190的更多信息可以在2009年4月13日提交的名为“GestureRecognizer System Architecture(姿势识别器系统架构)”的美国专利申请12/422,661中找到。关于识别姿势的更多信息可在2009年2月23日提交的明为“Standard Gestures(标准姿势)”的美国专利申请12/391,150；以及2009年5月29日提交的名为“Gesture Tool(姿势工具)”的美国专利申请12/474,655中找到。关于运动检测和追踪的更多信息可在2009年12月18日提交的名为“Motion Detection Using Depth Images(使用深度图像的运动检测)”的美国专利申请12/641,788以及名为“Device for Identifying and Tracking MultipleHumans over Time(用于随时间标识和跟踪多个人类的设备)”的美国专利申请12/475,308中找到。
图3描绘了图2的捕捉设备20的局部框图。这些组件可被提供在单个外壳中。设备20包括IR源34，该IR源34可被启用(通电或打开)以发射连续光或脉冲光。IR源34也可被停用(断电或关闭)以使得它不发射照明。光源在深度感测期间被调制或脉冲化。如果该IR源被关闭，则这意味着该系统仅能够捕捉彩色视频/图像。IR源充当捕捉设备的照明系统。
捕捉设备20包括安装透镜322和传感器透镜360的外壳。投影透镜322和/或传感器透镜360分别发射和接收IR照明和经反射的IR照明。相机36被定位成通过透镜360接收经反射的IR照明。一般来说，IR照明可以被脉冲化，得到的光脉冲对场景照明并且被对象反射。相机透镜收集经反射的光并将其成像在相机36上。取决于距离，传入的光经历延迟。由于光具有大致c＝300,000,000米每秒的速度，因此该延迟非常短，并且该照明的脉宽确定相机可处理的最大范围。
在一个实施例中，捕捉设备使用33ms的循环窗口(W)。该循环窗口包括该捕捉设备的按顺序循环的操作窗口。应当认识到，该窗口可取决于该捕捉设备被使用于的应用和范围而改变。在一个实施例中，为了在捕捉设备20附近的给定环境100内进行感测，定义循环窗口内用于脉冲和检测反射的操作窗口(图7A)，该定义基于光C的范围和速度。脉冲和感测可在操作窗口内发生许多次，但在一个实施例中在9ms之后完成。应当理解，操作窗口(设备20的脉冲和感测窗口)可以是循环窗口的任何部分。每一脉冲都是在例如几纳秒之内在区域100内被发送和接收的，从而得到操作窗口内的许多脉冲/感测序列。这意味着捕捉设备具有操作窗口(在本实施例中为9ms)，其比循环窗口短(在本实施例中为33ms)。应当理解，这些时间仅仅是示例性的。
在图7A中示出了脉冲和感测循环窗口(w)和各操作窗口(x)。
根据本技术，存储器44可存储由处理器42执行来顺序地提供脉冲照明和接收以在一连串的操作窗口上确定深度数据的指令。一般来说，这可在设备20正操作以提供所需的基于姿势的界面时被持续地进行。
处理器42与IR源通信以如在此所述的那样对其进行驱动或调制。传感器透镜360使从视野经反射的IR照明经过并抵达深度相机36所表示的一个或多个传感器。脉冲反射限于来自源的IR脉冲，因为任何环境光都通过使用IR带通滤波器(未示出)被反射，该IR带通滤波器被调谐以仅准许IR源的波长的光被接收。相机36可包括例如具有光敏像素的一个或多个CMOS传感器或CCD。每个像素都生成电荷，并且所聚集或集成的电荷的量可以被读取作为对像素已经达到的光强的指示。
处理器42可包括从传感器接收读数并将这些读数翻译成用于传感器的每个像素的深度数据的深度数据处理。例如，来自像素的读数可以指示所聚集的电荷的量，并且这可以基于传感器的特性与光强相关联。深度图可被存储在例如存储器44中。
如上所解释的，捕捉设备20向计算环境12提供RGB图像(也被称为彩色图像)以及深度图像。深度图像可以是多个观测到的像素，其中每个观测到的像素具有观测到的深度值。例如，深度图像可包括所捕捉的场景的二维(2D)像素区域，其中2D像素区域中的每一像素可表示深度值，诸如例如以厘米、毫米等计的、所捕捉的场景中的对象距捕捉设备的长度或距离。
图4是描述在一个实施例中可由跟踪系统10执行的对用户界面的姿势控制的过程的一个实施例的流程图。在步骤502，捕捉设备20的处理器42从图像捕捉组件32处接收视觉图像和深度图像。在其他示例中，在步骤502仅接收深度图像。深度图像和视觉图像可由图像捕捉组件32中的任何传感器或本领域中已知的其他适合的传感器来捕捉。在一个实施例中，深度图像是与视觉图像分开地捕捉的。在一些实现中，深度图像和视觉图像被同时捕捉，而在其他实现中，它们被顺序地或在不同的时间捕捉。在其他实施例中，深度图像是与视觉图像一起被捕捉的，或者与视觉图像组合成一个图像文件，使得每个像素具有R值、G值、B值和Z值(表示距离)。
在步骤504，确定对应于视觉图像和深度图像的深度信息。可分析在步骤502接收到的视觉图像和深度图像，以确定图像内的一个或多个目标的深度值。捕捉设备20可捕捉或观察可包括一个或多个目标的捕捉区域。在步骤506，捕捉设备确定深度图像是否包括人类目标。在一个示例中，可对深度图像中的每一目标进行泛色填充并将其与一图案进行比较来确定该深度图像是否包括人类目标。在一个示例中，可确定深度图像的被捕捉场景中的每个目标的边缘。深度图像可包括被捕捉的场景的二维像素区域，其中2D像素区域中的每个像素可表示例如可通过相机测量的长度或距离之类的深度值。可以通过将与例如深度图像的毗邻或相邻的像素相关联的各深度值进行比较来确定边缘。如果被比较的各深度值大于预定边缘容差，则这些像素可定义边缘。捕捉设备可将包括深度图像的所计算的深度信息组织成“Z层”或可垂直于沿着其视线从相机延伸到观察者的Z轴的各层。可基于所确定的边缘来对Z层的可能Z值进行泛色填充。例如，可将与所确定的边缘相关联的像素和所确定的边缘内的区域的像素彼此关联，以限定捕捉区域中的目标或对象。
在步骤508，捕捉设备扫描人类目标以寻找一个或多个身体部位。可以扫描人类目标，以提供诸如长度、宽度等与用户的一个或多个身体部位相关联的测量，以使得用户的准确模型可基于这些测量来生成。在一个示例中，隔离人类目标，并创建位掩模来扫描一个或多个身体部位。可例如通过对人类目标进行泛色填充来创建位掩模，使得该人类目标与捕捉区域元素中的其他目标或对象相分离。在步骤510，基于在步骤508执行的扫描来生成人类目标的模型。可分析该位掩模来寻找一个或多个身体部位，以生成诸如人类目标的骨架模型、网格人类模型等模型。例如，可使用由所扫描的位掩模确定的度量值来限定骨架模型中的一个或多个关节。位掩模可包括人类目标沿X、Y和Z轴的值。该一个或多个关节可用于定义可对应于人类的身体部位的一根或多根骨骼。
根据一个实施例，为了确定人类目标的颈部、肩膀等的位置，可以将例如在被扫描的位置处的位掩模的宽度与关联于例如颈部、肩膀等的典型宽度的阈值进行比较。在替换实施例中，可以使用离位掩码中先前扫描的并与身体部位相关联的位置的距离来确定颈部、肩膀等的位置。
在一个实施例中，为了确定肩膀的位置，可将肩膀位置处的位掩模的宽度与阈值肩膀值进行比较。例如，可以将肩部位置处的位掩模的X值处的两个最靠外的Y值之间的距离与例如人类肩部之间的典型距离的阈值肩部值进行比较。由此，根据一示例实施例，该阈值肩部值可以是与人类的身体模型的肩部相关联的典型宽度或宽度范围。
在另一实施例中，为了确定肩膀的位置，可从头部向下解析一特定距离的位掩码。例如，可与头部的顶部相关联的位掩码的顶部可具有与其相关联的X值。然后可以将所存储的与从头部的顶部到人类身体的肩膀的顶部的典型距离相关联的值加到头部的顶部的X值来确定肩膀的X值。由此，在一个实施例中，可将所存储的值加到与头的顶部相关联的X值以确定与肩膀相关联的X值。
在一个实施例中，诸如腿、脚等的某些身体部位可基于例如其他身体部位的位置来计算。例如，如上所述，可以扫描与人类目标相关联的诸如位、像素等信息，以确定人类目标的各个身体部位的位置。基于这些位置，然后可以为人类目标计算诸如腿、脚等的后续身体部位。
根据一个实施例，在确定了例如某身体部位的值后，可以创建一数据结构，该数据结构可包括诸如身体部位的长度、宽度等与人类目标的位掩模的扫描相关联的测量值。在一实施例中，该数据结构可包括从多个深度图像平均的扫描结果。例如，捕捉设备可捕捉各帧内的捕捉区域，每一帧都包括深度图像。可按如上所述来分析每个帧的深度图像，以确定是否包括人类目标。如果帧的深度图像包括人类目标，则可扫描与该帧相关联的深度图像的人类目标的位掩模来寻找一个或多个身体部位。随后可对为每一帧所确定的身体部位的值求平均，以使数据结构可包括与每一帧的扫描相关联的身体部位的诸如长度、宽度等平均测量值。在一个实施例中，所确定的身体部位的测量值可被调整(诸如被放大、缩小等)，使得数据结构中的测量值更紧密地对应于人类身体的典型模型。在步骤510中，可使用由所扫描的位掩模确定的度量值来定义骨架模型中的一个或多个关节。
在步骤512，从接收自捕捉设备的深度图像和视觉图像中捕捉运动。在一个实施例中，如将在下文更详细地描述的，在步骤514捕捉运动包括基于骨架映射生成运动捕捉文件。在步骤514，使用骨架映射来跟踪在步骤510创建的模型，并在步骤516跟踪用户运动。例如，可在用户在视野内在相机前的物理空间中移动时调整和更新用户18的骨架模型。来自捕捉设备的信息可用于调整模型，以使得骨架模型准确地表示用户。在一个示例中，这通过以下来实现：将一个或多个力施加到骨架模型的一个或多个受力方面，以将骨架模型调整成更加紧密地对应于人类目标和物理空间的姿态的姿态。
在步骤516，跟踪用户运动。
在步骤815，向诸如本文中所描述的导航系统之类的应用提供运动数据。还可评估这样的运动数据以确定用户是否正在执行预先定义的姿势。可基于在步骤516确定的一个或多个UI上下文来执行步骤518。例如，当在菜单上下文中操作时第一姿势集合可以是活跃的，而当在玩游戏上下文中操作时不同的姿势集合可以是活跃的。步骤518还可包括确定活跃姿势集合。在步骤520，执行姿势识别和控制。跟踪模型和捕捉到的运动被传递经过针对活跃姿势集合的滤波器以确定是否满足任何活跃姿势滤波器。在计算环境内应用任何检测出的姿势，以控制计算环境12所提供的用户界面。步骤520还可包括确定是否存在任何姿势，如果存在，则修改响应于姿势检测而执行的用户界面动作。
在一个实施例中，步骤516-520由计算设备12执行。此外，尽管步骤502-514被描述为由捕捉设备20执行，但这些步骤中的各个步骤可由诸如计算环境12之类的其他组件来执行。例如，捕捉设备20可向计算环境12提供视觉和/或深度图像，计算环境12接着将确定深度信息，检测人类目标，扫描目标，生成并跟踪模型，以及捕捉人类目标的运动。
图5是本技术的应用的图示。在图5中，在同一物理空间1000上存在第一用户18a和第二用户18b。在该实例中，还存在两个捕捉设备20A和20B以及系统10A和10B。存在先前描述的供每一用户18a和18b与系统10联用的其他元件。在图5所示的示例中，每一系统10A和108B必须按其中照明和检测不冲突的方式来操作。用于实现这个的一种方法是确保系统10a和10b就其操作窗口彼此通信。然而，要求这些系统之间的连接通常是不切实际的，并降低了这些系统的灵活性。
图6是示出当多个捕捉设备在环境1000中操作时由一捕捉设备的自发现的方法的流程图。图6的技术允许该系统独立地确定另一系统是否存在于将需要系统之间的协调一影响操作的物理邻近度中。
图6的方法可由每一捕捉设备作为初始化过程的一部分或在重新校准被处理器42中指令校准的代码请求时作为重新校准的一部分来执行。在一个实施例中，所有捕捉设备都被设计成用相同定时的循环和操作窗口操作。图6的方法允许设备在可能包含其他设备的环境中为其自己确定要在其中进行脉冲和感测的操作窗口。
在602，作出关于在捕捉设备的循环时间W内的操作时间窗口X的确定。操作窗口可以是图7A中示出的脉冲和检测窗口，该窗口是依据该设备的脉宽定义的操作窗口的一部分。应当认识到，该操作窗口和循环窗口可取决于该捕捉设备被使用于的应用和范围而改变。步骤602的确定可为每一初始化或校准作出，或者为执行图6的方法的任何设备作出一次。
在604，发起对捕捉设备的初始化或校准。在606，禁用该设备的所有照明源。这允许捕捉设备的传感器元件检测是否发生与预定义模式匹配的或在循环窗口内的其他照明源。
在608，扫描环境以查找在该环境中发生的脉冲光源。该扫描在多个数目(N)个循环窗口上的某时间帧内查找不时重复的任何照明源。如果在610在N个循环窗口的扫描时间帧内检测到照明，则在612作出关于这些脉冲的长度的计算。在612的定时计算将允许在615确定照明(或非照明)。在一个实施例中，在步骤614、616、618通过以下方式来计算脉冲长度：确定环境内的任何照明周期的长度并因此确定是否剩余循环窗口内的任何操作窗口以用于执行图6的方法的设备的操作。
在620，基于在614、616、618确定的脉冲/感测长度来作出关于操作窗口是否可用的确定。如果在步骤614检测到的照明具有一个操作窗口(即，图7B中的窗口X1)的长度，则在620操作窗口将可用。如果在步骤614检测到的脉冲具有两个操作窗口(即，图7B中的窗口X1+X2(或2X1))的长度，则在620操作窗口将可用。任何数目的操作窗口(nX1)可基于在循环窗口内发生的操作窗口的数目来计算。在以上33ms的循环窗口和9ms的操作窗口的示例中，仅三个操作窗口可在循环窗口内发生。但是如果循环窗口被增加到为50ms，则可确定例如五个操作窗口。
如果在620操作窗口可用，则在622确定下一可用操作窗口。下一可用窗口在检测到的任何照明序列的结束处开始。在626可通过以下方式来确定下一可用操作窗口：计算在循环窗口内检测到的照明所占用的总时间以及隔离当前设备的下一可用脉冲时间。例如，如果对于具有33ms循环窗口的设备而言，重复的检测到照明的总脉冲时间为9ms，则新操作窗口可被设为在10ms处的检测到的脉冲的结束处立即开始。类似地，如果重复的检测到照明的总脉冲时间为18ms，则新操作窗口可被设为在19ms处的检测到脉冲的结束处立即开始。
在进一步替换例中，应当理解，612处的采样以及620处的确定不需要严格地测量照明的周期，但还可或可替换地测量非照明的重复周期。如果在620识别到照明(以及非照明)的重复模式，则新操作窗口可在626被设为固化任何这样的非照明的周期，因为执行图6的方法的捕捉设备可将那个窗口用于其自己的脉冲和感测序列。
通过这种方式，执行初始化或校准的设备为所有设备使用在彼此的物理视图内的任何下一可用操作窗口—即，在所有同一物理环境内操作的所有设备可找出其自己的操作窗口，该操作窗口与在同一环境中操作的同一类型的其他捕捉设备不冲突。
在一个实施例中，在相同循环和操作窗口内操作的所有捕捉设备可由此基于各按顺序循环的窗口确定要在其中操作的操作窗口。
在一个实施例中，每一设备都执行图6的方法，以使得(1)任何环境中的第一设备都不会检测脉冲，并开始限定循环窗口的第一操作窗口；(2)该环境中的任何第二设备都会检测作为照明的第一设备的脉冲，并在第一操作窗口的结束处开始其自己的新操作窗口；以及(3)该环境中的任何第三设备都会检测作为照明的第一和第二设备脉冲，并在第二操作窗口的结束处开始其自己的新操作窗口。在另一替换例中，第二设备可在循环窗口内没有被第一设备的照明占用的任何时间点处开始。在这样的替换例中，任何第三(或后续设备)将被保留以确定是否发生足够的其中供自己操作的非照明周期。在该技术下，设备甚至可直接指向彼此，并进行操作而没有操作窗口的冲突。
图7A示出了循环窗口内的第一操作窗口。图7B示出了循环窗口内的第一和第二操作窗口。图7B中的第二操作窗口可包括与第一操作窗口相同的脉冲照明和感测序列。在其他实施例中，这些操作窗口的定时可以是不同的，并且在步骤608的确定可使得通过感测步骤来确定环境中的其他设备的操作窗口的指示。如图7B中所示出的，两个操作窗口具有相同或同样的时间长度—在该实施例中为9ms。操作窗口包括一系列脉冲和感测周期。在图7A和7B中，脉冲用黑线来表示，而感测周期用白间隙来示出。应当理解，这些脉冲和感测周期并不是按比例的。如所示出的，每一操作窗口都在与循环窗口相同的周期上循环。即，如图7B所示，第一设备的操作窗口(操作窗口A)在第二循环窗口中与第二设备的操作窗口(操作窗口B)同样地重复。示出了两个循环窗口，但应当理解，循环窗口在与捕捉设备进行扫描一样长的时间内重复。
图8是可用于实现像图1A和1B中的中枢计算系统之类的中枢计算系统的计算系统的一个实施例的框图。在这一实施例中，计算系统是多媒体控制台800，诸如游戏控制台等。如图8所示，多媒体控制台800具有中央处理单元(CPU)801以及便于处理器访问各种类型存储器的存储器控制器802，各种类型存储器包括闪速只读存储器(ROM)803、随机存取存储器(RAM)806、硬盘驱动器808、以及便携式媒体驱动器806。在一种实现中，CPU 801包括1级高速缓存810和2级高速缓存812，这些高速缓存用于临时存储数据并因此减少对硬盘驱动器808进行的存储器访问周期的数量，从而提高了处理速度和吞吐量。
CPU 801、存储器控制器802、以及各种存储器设备经由一个或多个总线(未示出)互连。在此实现中所使用的总线的细节对理解此处所讨论的关注主题不是特别相关。然而，应该理解，这样的总线可以包括串行和并行总线、存储器总线、外围总线、使用各种总线体系结构中的任何一种的处理器或局部总线中的一个或多个。作为示例，这样的架构可以包括工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)局部总线、以及也称为夹层总线的外围部件互连(PCI)总线。
在一个实现中，CPU 801、存储器控制器802、ROM 803、以及RAM 806被集成到公用模块814上。在此实现中，ROM 803被配置为通过PCI总线和ROM总线(两者都没有示出)连接到存储器控制器802的闪存ROM。RAM 806被配置为多个双倍数据速率同步动态RAM(DDRSDRAM)模块，它们被存储器控制器802通过分开的总线(未示出)独立地进行控制。硬盘驱动器808和便携式媒体驱动器805被示为通过PCI总线和AT附加(ATA)总线816连接到存储器控制器802。然而，在其他实现中，也可以备选地应用不同类型的专用数据总线结构。
图形处理单元820和视频编码器822构成了用于进行高速度和高分辨率(例如，高清)的图形处理的视频处理流水线。数据通过数字视频总线(未示出)从图形处理单元(GPU)820传输到视频编码器822。由系统应用生成的轻量消息(例如，弹出窗口)通过使用GPU 820中断来调度代码以将弹出窗口呈现为覆盖图来显示。覆盖图所使用的存储器量取决于覆盖区域大小，并且覆盖图优选地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器(scaler)可用于设置该分辨率，从而消除了对改变频率并引起TV重新同步的需求。
音频处理单元824和音频编解码器(编码器/解码器)826构成了对应的音频处理流水线，用于对各种数字音频格式进行多通道音频处理。通过通信链路(未示出)在音频处理单元824和音频编解码器826之间传送音频数据。视频和音频处理流水线向A/V(音频/视频)端口828输出数据，以便传输到电视机或其它显示器。在所示出的实现中，视频和音频处理组件820-828安装在模块214上。
图8示出了包括USB主控制器830和网络接口832的模块814。USB主控制器830被示为通过总线(例如，PCI总线)与CPU 801和存储器控制器802进行通信，并作为外围控制器804(1)-804(4)的主机。网络接口832提供对网络(例如因特网、家庭网络等)的访问，并且可以是包括以太网卡、调制解调器、无线接入卡、蓝牙模块、电缆调制解调器等各种有线或无线接口组件中的任一种。
在图8中所描绘的实现中，控制台800包括用于支持四个控制器804(1)-804(4)的控制器支持子部件840。控制器支持子部件840包括支持与诸如，例如，媒体和游戏控制器之类的外部控制设备的有线和无线操作所需的任何硬件和软件组件。前面板I/O子组件842支持电源按钮812、弹出按钮813，以及任何LED(发光二极管)或暴露在控制台802的外表面上的其它指示器等多个功能。子部件840和842通过一个或多个电缆部件844与模块814进行通信。在其它实现中，控制台800可以包括另外的控制器子部件。所示出的实现还示出了被配置成发送和接收可以传递到模块814的信号的光学I/O接口835。
MU 840(1)和840(2)被示为可分别连接到MU端口“A”830(1)和“B”830(2)。附加的MU(例如，MU 840(3)-840(6))被示为可连接到控制器804(1)和804(3)，即，每一控制器两个MU。控制器804(2)和804(4)也可以被配置成接纳MU(未示出)。每一个MU 840都提供附加存储，在其上面可以存储游戏、游戏参数、及其它数据。在一些实现中，其它数据可以包括数字游戏组件、可执行的游戏应用，用于扩展游戏应用的指令集、以及媒体文件中的任何一种。当被插入到控制台800或控制器中时，MU 840可以被存储器控制器802访问。系统供电模块850向游戏系统800的组件供电。风扇852冷却控制台800内的电路。还提供微控制器单元854。
包括机器指令的应用860被存储在硬盘驱动器808上。当控制台800被接通电源时，应用860的各个部分被加载到RAM 806、和/或高速缓存810以及812中以在CPU 801上执行，其中应用860是一个这样的示例。各种应用可以存储在硬盘驱动器808上以用于在CPU 801上执行。
通过简单地将游戏和媒体系统800连接到监视器16(图1)、电视机、视频投影仪或其他显示设备，该系统200就可以作为独立系统来操作。在此独立模式下，游戏和媒体系统800允许一个或多个玩家玩游戏或欣赏数字媒体，例如观看电影或欣赏音乐。然而，随着宽带连接的集成通过网络接口832而成为可能，游戏和媒体系统800还可以作为更大的网络游戏社区的参与者来操作。
上述系统可被用于将虚拟图像添加到用户的视图，使得虚拟图像与用户看到的现实图像相混合。在一个示例中，虚拟图像是以它们看上去为原始场景的一部分的方式被添加。添加虚拟图像的示例可在2011年5月20日提交的名为“Event Augmentation WithReal-Time Information”(具有实时信息的事件增强)的美国专利申请13/112919；以及2010年10月15日提交的名为“Fusing Virtual Content Into Real Content”(将虚拟内容合并到现实内容中)的美国专利申请12/905952中找到。
图9示出了计算系统420的另一示例实施例，该计算系统可以是图1A-2B所示的用于跟踪应用所显示的化身或其他屏幕上对象的运动和/或动画化(或以其他方式更新化身或其他屏幕上对象)的计算系统112。计算系统环境420只是合适的计算系统的一个示例，并且不旨在对当前公开的主题的使用范围或功能提出任何限制。也不应该将计算系统420解释为对示例性操作系统420中示出的任一组件或其组合有任何依赖性或要求。在某些实施例中，所描绘的各种计算元素可包括被配置成实例化本发明的各具体方面的电路。例如，本公开中使用的术语电路可包括被配置成通过固件或开关来执行功能的专用硬件组件。其他示例中，术语电路可包括由实施可用于执行功能的逻辑的软件指令配置的通用处理单元、存储器等。在电路包括硬件和软件的组合的示例实施例中，实施者可以编写体现逻辑的源代码，且源代码可以被编译为可以由通用处理单元处理的机器可读代码。因为本领域技术人员可以明白现有技术已经进化到硬件、软件或硬件/软件组合之间几乎没有差别的地步，因而选择硬件或是软件来实现具体功能是留给实现者的设计选择。更具体地，本领域技术人员可以明白软件进程可被变换成等价的硬件结构，而硬件结构本身可被变换成等价的软件进程。由此，对于硬件实现还是软件实现的选择是设计选择之一并留给实现者。
计算系统420包括计算机441，计算机441通常包括各种计算机可读介质。计算机可读介质可以是能由计算机441访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器422包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)423和随机存取存储器(RAM)460。包含诸如在启动期间帮助在计算机441内的元件之间传输信息的基本例程的基本输入/输出系统424(BIOS)通常存储在ROM423中。RAM 460通常包含处理单元459可立即访问和/或当前正在操作的数据和/或程序模块。作为示例而非限制，图9示出了操作系统425、应用程序426、其他程序模块427和程序数据428。
计算机441也可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图9示出了从不可移动、非易失性磁介质中读取或向其写入的硬盘驱动器438，从可移动、非易失性磁盘454中读取或向其写入的磁盘驱动器439，以及从诸如CD ROM或其他光学介质等可移动、非易失性光盘453中读取或向其写入的光盘驱动器440。可在示例性操作环境中使用的其它可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。硬盘驱动器438通常通过诸如接口434之类的不可移动存储器接口连接到系统总线421，并且磁盘驱动器439和光盘驱动器440通常通过诸如接口435之类的可移动存储器接口连接到系统总线421。
以上讨论并在图9中示出的驱动器及其相关联的计算机存储介质为计算机441提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。在图9中，例如，硬盘驱动器438被示为存储操作系统458、应用程序457、其他程序模块456和程序数据455。注意，这些组件可与操作系统425、应用程序426、其它程序模块427和程序数据428相同，也可与它们不同。在此操作系统458、应用程序457、其它程序模块456以及程序数据455被给予了不同的编号，以至少说明它们是不同的副本。用户可以通过输入设备，例如键盘451和定点设备452(通常称为鼠标、跟踪球或触摸垫)向计算机441输入命令和信息。其它输入设备(未示出)可包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些以及其它输入设备通常通过耦合到系统总线的用户输入接口436连接到处理单元459，但也可通过诸如并行端口、游戏端口或通用串行总线(USB)之类的其它接口和总线结构来连接。相机226、228和捕捉设备120可经由用户输入接口436来定义计算系统420的附加输入设备。监视器442或其他类型的显示设备也经由诸如视频接口432之类的接口连接至系统总线421。除了监视器以外，计算机还可包括诸如扬声器444和打印机443之类的其它外围输出设备，它们可通过输出外围接口433来连接。捕捉环境120可经由输出外围接口433、网络接口437或其他接口连接到计算系统420。
计算机441可使用到一个或多个远程计算机(诸如，远程计算机446)的逻辑连接而在联网环境中操作。远程计算机446可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见网络节点，并且通常包括许多或所有以上相对计算机441所描述的元件，但在图9中仅示出了存储器存储设备447。所描绘的逻辑连接包括局域网(LAN)445和广域网(WAN)449，但也可以包括其它网络。此类联网环境在办公室、企业范围的计算机网络、内联网和因特网中是常见的。
当在LAN联网环境中使用时，计算机441通过网络接口或适配器437连接到LAN445。当在WAN联网环境中使用时，计算机441通常包括调制解调器450或用于通过诸如因特网等WAN 449建立通信的其它手段。调制解调器450可以是内置的或外置的，可经由用户输入接口436或其它适当的机制连接到系统总线421。在联网环境中，相关于计算机441所示的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非局限，图9示出应用程序448驻留在存储器设备447上。应当理解，所示的网络连接是示例性的，并且可使用在计算机之间建立通信链路的其它手段。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (10)

1.一种具有照明系统和图像捕捉系统的捕捉设备的自主操作方法，包括：
由捕捉设备扫描所述捕捉设备附近的环境以寻找在循环时间窗口内操作的照明源；
确定在所述循环时间窗口内在所述捕捉设备附近的所述环境中是否发生照明；
如果在所述循环时间窗口内发现照明，则在该照明发生时，隔离所述循环时间窗口内的任何现有操作时间窗口，所述现有操作时间窗口各自是相对于所述循环时间窗口的时间长度的一部分；
确定任何现有操作时间窗口的开始和结束；以及
如果所述循环时间窗口内有时间可用，则在所述循环时间窗口内建立新操作时间窗口。
2.如权利要求1所述的方法，其特征在于，进一步包括使所述照明系统在任何现有操作时间窗口之外并在所述循环时间窗口之内的时间处加入所述新操作时间窗口。
3.如权利要求2所述的方法，其特征在于，在任何操作时间窗口之外的时间在所有在先操作时间窗口的结束处开始。
4.如权利要求2所述的方法，其特征在于，任何操作时间窗口之外的时间在所有操作时间窗口的结束之后、所述循环时间窗口的结束减去所述新操作时间窗口的时间之前的任何时间点处开始。
5.如权利要求1所述的方法，其特征在于，确定是否发生照明包括确定所述循环时间窗口内的多个操作时间窗口。
6.一种捕捉设备，包括：
具有视野的深度成像传感器；
设备照明源；
耦合到所述传感器的处理器，所述处理器包括指令所述处理器执行以下动作的代码：
扫描所述视野以查找在所述捕捉设备附近的、在循环时间窗口中操作的至少一个第二照明源；
如果在所述循环时间窗口内发生来自至少一个第二照明源的照明，则在该照明发生时，隔离所述循环时间窗口内的所述第二照明源的操作时间窗口，所述操作时间窗口是相对于所述循环时间窗口的时间长度的一部分；
确定所述操作时间窗口的开始和结束；以及
在所述循环时间窗口内建立新操作时间窗口。
7.如权利要求6所述的捕捉设备，进一步包括使用所述深度成像传感器来进行扫描。
8.如权利要求6所述的捕捉设备，其特征在于，建立新操作时间窗口包括使所述设备照明源在任何现有操作时间窗口之外并在所述循环时间窗口之内的时间处加入，并接收所述新操作时间窗口内的从所述设备照明源反射的照明。
9.如权利要求8所述的捕捉设备，其特征在于，如果在所述循环时间窗口内没有发生照明，则使所述照明设备以与所述循环时间窗口的时间一致的规律发生的间隔加入，并接收从所述设备照明源反射的照明，由此建立所述新操作时间窗口。
10.如权利要求9所述的捕捉设备，其特征在于，所述确定包括确定所述循环时间窗口内的多个操作时间窗口。
CN201480018853.6A 2013-03-27 2014-03-25 自主nui设备的自发现 Active CN105164617B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/851,459 US9953213B2 (en) 2013-03-27 2013-03-27 Self discovery of autonomous NUI devices
US13/851,459 2013-03-27
PCT/US2014/031677 WO2014160681A1 (en) 2013-03-27 2014-03-25 Self discovery of autonomous nui devices

Publications (2)

Publication Number Publication Date
CN105164617A CN105164617A (zh) 2015-12-16
CN105164617B true CN105164617B (zh) 2018-06-19

Family

ID=50588925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480018853.6A Active CN105164617B (zh) 2013-03-27 2014-03-25 自主nui设备的自发现

Country Status (4)

Country Link
US (1) US9953213B2 (zh)
EP (1) EP2979157B1 (zh)
CN (1) CN105164617B (zh)
WO (1) WO2014160681A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6844692B2 (ja) * 2017-04-07 2021-03-17 日本電気株式会社 学習データ生成装置、学習データ生成方法、およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6774893B2 (en) * 1999-07-28 2004-08-10 Storage Technology Corporation Intelligent light source
CN101943973A (zh) * 2009-07-03 2011-01-12 北京汇冠新技术股份有限公司 一种交互式显示器
CN102323863A (zh) * 2011-04-29 2012-01-18 范文斌 一种基于平面光源定位的装置及方法

Family Cites Families (167)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
CA2101633A1 (en) 1991-12-03 1993-06-04 Barry J. French Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
JP2000510013A (ja) 1996-05-08 2000-08-08 リアル ヴィジョン コーポレイション 位置検出を用いたリアルタイムシミュレーション
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
EP0959444A4 (en) 1996-08-14 2005-12-07 Nurakhmed Nurislamovic Latypov METHOD FOR TRACKING AND REPRESENTING THE POSITION AND ORIENTATION OF A SUBJECT IN THE SPACE, METHOD FOR PRESENTING A VIRTUAL SPACE THEREON, AND SYSTEMS FOR CARRYING OUT SAID METHODS
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
EP0849697B1 (en) 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
WO1999019840A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. A system and method for generating an animatable character
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
EP1059970A2 (en) 1998-03-03 2000-12-20 Arena, Inc, System and method for tracking and assessing movement skills in multidimensional space
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
WO2000036372A1 (en) 1998-12-16 2000-06-22 3Dv Systems, Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
EP1497160B2 (de) 2002-04-19 2010-07-21 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Sicherheitsvorrichtung für ein fahrzeug
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US7372977B2 (en) 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7620202B2 (en) 2003-06-12 2009-11-17 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
CN100573548C (zh) 2004-04-15 2009-12-23 格斯图尔泰克股份有限公司 跟踪双手运动的方法和设备
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
US7821533B2 (en) * 2004-09-23 2010-10-26 Smartvue Corporation Wireless video surveillance system and method with two-way locking of input capture devices
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
JP2008537190A (ja) 2005-01-07 2008-09-11 ジェスチャー テック，インコーポレイテッド 赤外線パターンを照射することによる対象物の三次元像の生成
EP1849123A2 (en) 2005-01-07 2007-10-31 GestureTek, Inc. Optical flow based tilt sensor
EP3693889A3 (en) 2005-01-07 2020-10-28 QUALCOMM Incorporated Detecting and tracking objects in images
JP5631535B2 (ja) 2005-02-08 2014-11-26 オブロング・インダストリーズ・インコーポレーテッド ジェスチャベースの制御システムのためのシステムおよび方法
US7317836B2 (en) 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
KR101430761B1 (ko) 2005-05-17 2014-08-19 퀄컴 인코포레이티드 방위-감응 신호 출력
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US8761434B2 (en) 2008-12-17 2014-06-24 Sony Computer Entertainment Inc. Tracking system calibration by reconciling inertial data with computed acceleration of a tracked object in the three-dimensional coordinate system
EP2413286A1 (en) * 2010-07-29 2012-02-01 LiberoVision AG Image processing method and device for instant replay
US8903521B2 (en) * 2010-08-26 2014-12-02 Blast Motion Inc. Motion capture element
US9247238B2 (en) 2011-01-31 2016-01-26 Microsoft Technology Licensing, Llc Reducing interference between multiple infra-red depth cameras
US8978983B2 (en) * 2012-06-01 2015-03-17 Honeywell International, Inc. Indicia reading apparatus having sequential row exposure termination times
US9210404B2 (en) * 2012-12-14 2015-12-08 Microsoft Technology Licensing, Llc Calibration and registration of camera arrays using a single circular grid optical target

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6774893B2 (en) * 1999-07-28 2004-08-10 Storage Technology Corporation Intelligent light source
CN101943973A (zh) * 2009-07-03 2011-01-12 北京汇冠新技术股份有限公司 一种交互式显示器
CN102323863A (zh) * 2011-04-29 2012-01-18 范文斌 一种基于平面光源定位的装置及方法

Also Published As

Publication number Publication date
WO2014160681A1 (en) 2014-10-02
US20140293008A1 (en) 2014-10-02
EP2979157B1 (en) 2016-12-21
US9953213B2 (en) 2018-04-24
EP2979157A1 (en) 2016-02-03
CN105164617A (zh) 2015-12-16

Similar Documents

Publication Publication Date Title
US9787943B2 (en) Natural user interface having video conference controls
CN102549619B (zh) 人类跟踪系统
RU2580450C2 (ru) Системы и способы применения отслеживания модели для захвата движений
US8320619B2 (en) Systems and methods for tracking a model
CN102576466B (zh) 用于跟踪模型的系统和方法
CN102665838B (zh) 用于确定和跟踪目标的肢端的方法和系统
CN102222347B (zh) 使用波阵面编码来创建深度图像
CN102411783B (zh) 在视频聊天应用中自动跟踪用户移动
CN102947777B (zh) 用户跟踪反馈
CN102576463B (zh) 用于移除图像的背景的系统和方法
US8803889B2 (en) Systems and methods for applying animations or motions to a character
CN102332090B (zh) 划分在视野内的焦点区域
CN105073210B (zh) 使用深度图像的用户身体角度、曲率和平均末端位置提取
US20110109617A1 (en) Visualizing Depth
US20120047468A1 (en) Translating User Motion Into Multiple Object Responses
CN103748893B (zh) 照亮捕捉设备的视野以捕捉经照亮的图像的方法及系统
US20150070263A1 (en) Dynamic Displays Based On User Interaction States
CN102222329A (zh) 深度检测的光栅扫描
CN102314595A (zh) 用于改善话音识别的rgb/深度相机
CN107077730A (zh) 基于剪影的肢寻找器确定
US11000756B2 (en) Pre-visualization device
CN105164617B (zh) 自主nui设备的自发现
CN102375541B (zh) 将用户运动转换成多个对象响应

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant