CN102231037A - 带有超辐射发光二极管的深度照像机照明器 - Google Patents

带有超辐射发光二极管的深度照像机照明器 Download PDF

Info

Publication number
CN102231037A
CN102231037A CN2011101716354A CN201110171635A CN102231037A CN 102231037 A CN102231037 A CN 102231037A CN 2011101716354 A CN2011101716354 A CN 2011101716354A CN 201110171635 A CN201110171635 A CN 201110171635A CN 102231037 A CN102231037 A CN 102231037A
Authority
CN
China
Prior art keywords
light
depth cameras
depth
colourless
optical element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011101716354A
Other languages
English (en)
Other versions
CN102231037B (zh
Inventor
S·麦克尔道尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102231037A publication Critical patent/CN102231037A/zh
Application granted granted Critical
Publication of CN102231037B publication Critical patent/CN102231037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1876—Diffractive Fresnel lenses; Zone plates; Kinoforms
    • G02B5/189—Structurally combined with optical elements not having diffractive power
    • G02B5/1895—Structurally combined with optical elements not having diffractive power such optical elements having dioptric power
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了运动跟踪系统中的带有超辐射发光二极管(SLED)的深度照像机照明器。一个或多个SLED具有足够的功率，如75-200毫瓦，以在诸如家庭中的一个房间之类的区域的视野中延伸。为纠正否则将由于与激光相比由SLED发出的更宽的波长范围而存在的色差，使用无色衍射光学元件来将光分散在视野中。无色衍射光学元件可以具有带有三级或更多级的步进式多级轮廓或连续轮廓。基于被跟踪的人类目标的移动，向运动跟踪系统中的应用提供输入，该应用执行诸如更新屏幕上的化身的位置之类的对应的动作。

Description

带有超辐射发光二极管的深度照像机照明器
技术领域
本发明涉及计算机应用，尤其涉及运动捕捉技术。
背景技术
运动捕捉系统获取关于物理空间中关于人体或其他主体的位置及移动的数据，并可以使用该数据作为计算系统中的应用的输入。可能有许多应用，例如出于军事、娱乐，体育和医学目的。例如，可以将人的运动映射到三维(3-D)人类骨架模型，并用于创建动画人物或化身。可包括包含那些使用可见和不可见(例如红外)光的光学系统，运动捕捉系统使用照像机来检测视野中的人的存在。通常，运动捕捉系统包括照明视野的照明器，以及感测来自视野的光以形成图像的图像传感器。照明器包括诸如激光之类的光源。
发明内容
提供了3-D深度照相机系统。3-D深度照相机系统使用至少一个发光二极管(LED)作为照明器中的光源，代替激光。例如，由于其高空间相干性，可以使用超辐射LED(SLED)。作为结果，避免了由激光的使用所存在的安全顾虑。期望新兴的SLED技术以足够高的功率操作，以成功地在3-D深度照相机系统中使用，3-D深度照相机系统能够例如在典型的光照条件下跟踪(家庭中找到的)通常大小的房间中的人或其他对象。可以使用SLED来提供保持常规LED的安全特性的强大且高质量的准直光源。可以使用自身足够强大的单个SLED，或者也可以组合各组SLED。
在一个实施方式中，3-D深度照相机系统包括照明器，该照明器包括至少一个超辐射发光二极管(SLED)。该系统还包括准直透镜，该准直透镜捕捉来自至少一个SLED的光，以提供准直光源。衍射光学元件(DOE)接收准直光源，并创建照明视野中的人类目标的多个衍射光束。DOE的带宽是这样的，以便它创建适于系统性能的高对比度衍射图案。此外，图像传感器使用来自视野的光来创建图案的深度图像。例如，DOE可以是无色的。
至少一个SLED可以以例如近红外波长来输出光，并以至少75毫瓦或100毫瓦、以及多达200毫瓦或更大的功率级。此外，还可以使用多个SLED，其中，每一个SLED都向相应的微透镜提供光，微透镜进而将相应的部分地准直的光束提供到准直透镜。准直透镜通过组合相应的部分地准直的光束，将单个完全准直的光源提供到无色衍射光学元件。
提供本发明内容以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。
附图说明
在附图中，相同编号的元件彼此对应。
图1描绘了运动捕捉系统的示例实施方式。
图2描绘了图1的运动捕捉系统的示例框图。
图3描绘了可以在图1的运动捕捉系统中使用的计算环境的一个示例框图。
图4描绘了可以在图1的运动捕捉系统中使用的计算环境的另一个示例框图。
图5A描绘了图2的3-D深度照像机22的照明器24的示例配置。
图5B描绘了图5A的SLED 505的俯视图。
图5C描绘了图5A的具有多步衍射轮廓的无色衍射光学元件530的细节。
图5D描绘了作为图5C的无色衍射光学元件530的替代方案的具有连续的衍射轮廓的无色衍射光学元件的细节。
图6描绘了使用多个SLED作为图5A的照明器24的替代方案的照明器。
图7描绘了用于向运动捕捉系统中的应用提供控制输入的方法。
图8描绘了如在图7的步骤700中阐述的用于跟踪人类目标的示例方法。
图9描绘了如在图8的步骤808中阐述的人类目标的示例模型。
具体实施方式
提供了用于运动跟踪系统中的带有超辐射发光二极管(SLED)的深度照像机照明器。使用了一个或多个SLED，它们具有足够的功率来在诸如家庭中的一个房间之类的区域的视野中照明，并从视野中的人类目标或其他对象向回反射到图像传感器。可以提供一个或多个SLED来代替激光，以避免安全问题和相关的设计复杂性和费用。在将来自一个或多个SLED的光衍射到在视野内延伸的许多分开的光束时，可以使用无色衍射光学元件。与可以与激光一起使用的二元衍射光学元件(DOE)不同，无色(DOE)纠正否则将由于与激光相比由SLED发出的更宽的波长范围而导致的色差。注意，还可以使用具有限的波长的二元DOE，但是，以系统对比度为代价，系统对比度将退化系统性能，但在某些情况下可能是可接受的。
关于当使用激光时存在的安全问题，虽然在激光束的光朝向人类目标发射之前激光束的浓度被降低，但是，使用激光会存在安全问题的感知。此外，需要相当大的设计工作，以确保发出的光是安全的，以及未经授权的用户不能篡改激光。例如，可以在深度照像机内与降低光的输出功率的光学器件一起使用类3激光(可能是危险的)，该光的输出功率使照像机留在对于所有应用都是安全的相当于类1激光的光的级别。提供避免这些复杂性的替换光源将是有利的。
图1描绘了运动捕捉系统10的示例实施方式，其中，人8如在用户的家庭中与应用进行交互。运动捕捉系统10包括显示器196、深度照相机系统20，以及计算环境或装置12。深度照相机系统20可包括具有诸如红外(IR)光发射器之类的照明器24的图像照像机组件22、诸如红外照像机之类的图像传感器26、以及红-绿-蓝(RGB)照像机28。人8，也被称为用户或玩家，站在深度照像机的视野6内。线2和4表示视野6的边界。在此示例中，深度照相机系统20以及计算环境12提供在其中显示器196上的化身197跟踪人8的移动的应用。例如，当人抬起手臂时，化身可以抬起手臂。化身197站在3-D虚拟世界的道路198上。可以定义笛卡儿世界坐标系，其包括沿着深度照相机系统20的焦距延伸(例如，水平地)的z轴、垂直地延伸的y轴、以及横向地并且水平地延伸的x轴。注意，附图的角度被修改为简化表示，显示器196在y轴方向垂直地延伸，z轴垂直于y轴和x轴且与用户8所站立的地面平行地从深度照相机系统延伸出来。
一般而言，运动捕捉系统10被用来识别、分析、和/或跟踪一个或多个人类目标。计算环境12可包括计算机、游戏系统或控制台等等、以及执行应用的硬件组件和/或软件组件。
深度照相机系统20可包括被用来在视觉上监视一个或多个诸如人8之类的人的照像机，以便可以捕捉、分析，以及跟踪由人执行的姿势和/或移动，以在应用内执行一个或多个控制或动作，如动画化化身或屏幕上的人物或选择用户界面(UI)中的一个菜单项。
运动捕捉系统10可以连接到诸如显示器196之类的视听设备，例如，电视机、监视器、高清电视机(HDTV)等等，或者甚至是向用户提供可视和音频输出的墙壁或其他表面上的投影。还可以经由分开的设备来提供音频输出。为驱动显示器，计算环境12可包括提供与应用相关联的视听信号的诸如图形卡之类的视频适配器和/或诸如声卡之类的音频适配器。显示器196可以通过例如S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等等连接到计算环境12。
可以使用深度照相机系统20来跟踪人8，以使得用户的姿势和/或移动被捕捉并用于动画化化身或屏幕上的人物和/或被解释为对正在由计算机环境12执行的应用的输入控制。
人8的一些移动可以被解释为可以与除控制化身以外的动作对应的控件。例如，在一个实施方式中，玩家可以使用移动来结束、暂停或保存游戏，选择级别，查看高分，与朋友进行通信等等。玩家可以使用移动来从主用户界面中选择游戏或其他应用，或以其他方式导航选项菜单。如此，人8的全范围运动可以是可用的，并可以以任何合适的方式使用、分析它们，以与应用进行交互。
运动捕捉系统10还可以用于将目标移动解释成处于游戏或意味着娱乐和休闲的其他应用的领域之外的操作系统和/或应用控制。例如，操作系统和/或应用的任何可控方面都可以通过人8的移动来控制。
图2描绘了图1a的运动捕捉系统10的示例框图。深度照相机系统20可以被配置成通过任何合适的技术捕获带有包括深度图像(可包括深度值)深度信息的视频，这些技术包括例如飞行时间、结构化光、立体图像等等。深度照相机系统20可以将深度信息组织为“Z层”，或可与从深度照像机沿着其视线延伸的Z轴垂直的层。
深度照相机系统20可包括图像照像机组件22，该图像照像机组件22捕捉物理空间中的场景的深度图像。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每一像素具有表示与图像照像机组件22的直线距离相关联的深度值，从而提供3-D深度图像。
图像照相机组件22可包括诸如红外(IR)光发射器24之类的照明器24、诸如红外照像机之类的图像传感器26、以及红-绿-蓝(RGB)照像机28，它们可以用于捕捉场景的深度图像或为其他应用提供附加的照像机。通过红外光发射器24和红外照像机26的组合来形成3-D深度照像机。例如，在飞行时间分析中，照明器24可以将红外光发射到物理空间上，并且图像传感器26检测从物理空间中的一个或多个目标和对象的表面反向散射的光。在某些实施方式中，可以使用脉冲式红外光从而测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从深度照相机系统20到物理空间中的目标或对象上的特定位置的物理距离。可将入射光波的相位与出射光波的相位进行比较来确定相移。然后可以使用该相移来确定从深度照相机系统到目标或对象上的特定位置的物理距离。
也可使用飞行时间分析，通过经由包括例如快门式光脉冲成像的各种技术来分析反射光束随时间的强度变化以间接地确定从深度照相机系统20到目标或对象上的特定位置的物理距离。
在另一示例实施方式中，深度照相机系统20可使用结构化光来捕捉深度信息。在这样的分析中，图案化光(即被显示成诸如网格图案或条纹图案的已知图案的光)可以通过例如照明器24被投影到场景上。在撞击到场景中的一个或多个目标或对象的表面时，作为响应，图案可变形。图案的这种变形可由例如图像传感器26和/或RGB照相机28来捕捉，然后可被分析以确定从深度照相机系统到目标或对象上的特定位置的物理距离。
深度照相机系统20还可以包括话筒30，其包括，例如，接收声波并将其转换成电信号的换能器或传感器。另外，话筒30可用于接收也可由个人提供以控制可由计算环境12执行的应用的诸如声音之类的音频信号。音频信号可包括诸如说出的单词、口哨、叫声及其他话语等个人的口音，以及诸如拍手或跺脚非口声音。
深度照相机系统20可包括与3-D深度照像机22进行通信的处理器32。处理器32可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令可包括例如用于接收深度图像的指令、用于基于深度图像来生成体素的网格的指令、用于删除体素的网格中所包括的背景以隔离与人类目标相关联的一个或多个体素的指令、用于确定被隔离的人类目标的一个或多个末端的位置或定位的指令、用于基于一个或多个末端的位置来调整模型的指令、或任何其他合适的指令，下面将对它们进行更详细的描述。
深度照相机系统20还可以包括存储器组件34，该存储器组件34可以存储可以由处理器32执行的指令，以及存储由3-D照像机或RGB照像机捕捉到的图像或图像的帧，或任何其他合适的信息、图像等等。根据一个示例实施方式，存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘或任何其他合适的有形的计算机可读存储组件。存储器组件34可以是经由总线21与图像捕捉组件22和处理器32通信的分开的组件。根据另一实施方式，存储器组件34可以集成到处理器32和/或图像捕捉组件22中。
深度照相机系统20可以经由通信链路36与计算环境12进行通信。通信链路36可以是有线和/或无线连接。根据一个实施方式，计算环境12可以经由通信链路36向深度照相机系统20提供时钟信号，该时钟信号指示何时从位于深度照相机系统20的视野中的物理空间捕捉图像数据。
另外，深度照相机系统20可以通过通信链路36向计算环境12提供深度信息和由例如图像传感器26和/或RGB照像机28捕捉到的图像，和/或可以由深度照相机系统20生成的骨架模型。然后，计算环境12可以使用模型、深度信息、以及捕捉到的图像来控制应用。例如，如图2所示，计算环境12可包括诸如姿势过滤器的集合之类的姿势库190，每一个过滤器都具有关于可以(随着用户移动)由骨架模型执行的姿势的信息。例如，可以为各种手势提供姿势过滤器，如手的挥击或投掷。通过将检测到的运动与每一个过滤器进行比较，可以标识由个人执行的指定姿势或移动。还可以确定执行移动的程度。
可以将由深度照相机系统20以骨架模型的形式捕捉的数据以及与它相关联的移动与姿势库190中的姿势过滤器进行比较，以标识(如由骨架模型所表示的)用户何时执行了一个或多个特定移动。那些移动可以与应用的各控件相关联。
计算环境也可以包括处理器192，其用于执行存储在存储器194中的指令，以向显示设备196提供音频-视频输出信号，并实现如此处所描述的其他功能。
图3描绘了可以在图1的运动捕捉系统中使用的计算环境的一个示例框图。可以使用计算环境来解释一个或多个姿势或其他移动，并作为响应，更新显示器上的视觉空间。上文所描述的诸如计算环境12等的计算环境可包括诸如游戏控制台等的多媒体控制台100。多媒体控制台100具有中央处理单元(CPU)101，其具有一级缓存102、二级缓存104，以及闪存ROM(只读存储器)106。一级高速缓存102和二级高速缓存104临时存储数据并因此减少存储器访问周期数，由此改进处理速度和吞吐量。CPU 101可以被提供为具有一个以上的核，以及由此具有附加的一级和二级高速缓存102和104。诸如闪存ROM之类的存储器106可存储在当多媒体控制台100通电时的引导过程的初始阶段期间加载的可执行代码。
图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速、高分辨率图形处理的视频处理流水线。数据经由总线从图形处理单元108传输到视频编码器/视频编解码器114。视频处理流水线向A/V(音频/视频)端口140输出数据，以便传输到电视机或其他显示器。存储器控制器110连接到GPU 108，以促进处理器对比如RAM(随机存取存储器)等各种类型的存储器112的访问。
多媒体控制台100包括优选地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口124、第一USB主控制器126、第二USB控制器128以及前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、和外置存储器设备146(例如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口(NW IF)124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中任何一种。
提供系统存储器143用于存储在引导进程期间加载的应用数据。提供了介质驱动器144，其可以包括DVD/CD驱动器、硬盘驱动器，或其他可移动介质驱动器。介质驱动器144可以是多媒体控制台100内部或外部的。应用数据可经由介质驱动器144访问，以由多媒体控制台100执行、回放等。介质驱动器144经由诸如串行ATA总线或其他高速连接等总线连接到I/O控制器120。
系统管理控制器122提供涉及确保多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140以供外置音频播放器或具有音频能力的设备再现。
前板I/O子部件130支持展示在多媒体控制台100的外表面上的电源按钮150和弹出按钮152以及任何LED(发光二极管)或其他指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。
CPU 101、GPU 108、存储器控制器110、和多媒体控制台100内的各个其他组件经由一条或多条总线互连，包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。
当多媒体控制台100通电时，应用数据可从系统存储器143加载到存储器112和/或高速缓存102、104中并在CPU 101上执行。应用可呈现在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，介质驱动器144中包含的应用和/或其他媒体可从介质驱动器144启动或播放，以向多媒体控制台100提供附加功能。
多媒体控制台100可通过将该系统简单地连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口124或无线适配器148可用的宽带连接的集成，多媒体控制台100还可作为较大网络社区中的参与者来操作。
当多媒体控制台100通电时，可以保留指定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可包括预留存储器(例如，16MB)、CPU和GPU周期(例如，5％)、网络带宽(例如，8kbs)等等。由于这些资源是在系统引导时预留的，因此，从应用的观点来看，预留的资源不存在。
具体而言，存储器保留优选地大得足以包含启动内核、并发系统应用和驱动程序。CPU保留优选地为恒定的，使得如果所保留的CPU使用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。
对于GPU保留，通过使用GPU中断来显示由系统应用生成的轻量消息(例如，弹出窗口)，以调度代码来将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图优选地与屏幕分辨率成比例地缩放。在完整的用户界面被并发系统应用使用的情况下，优选地使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率，也就不会引起TV重新同步。
在多媒体控制台100引导且系统资源被保留之后，就执行并发系统应用来提供系统功能。系统功能被封装在一组在上述所保留的系统资源中执行的系统应用中。操作系统内核标识是系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间和间隔在CPU101上运行，以便为应用提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用所引起的高速缓存分裂最小化。
当并发系统应用需要音频时，则由于时间敏感性而异步调度音频处理给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。
输入设备(例如，控制器142(1)和142(2))由游戏应用和系统应用共享。输入设备不是所保留的资源，但却在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器优选地控制输入流的切换，无需知道游戏应用的知识，驱动程序维护关于焦点切换的状态信息。控制台100可以从图2的包括照像机26和28的深度照相机系统20接收附加的输入。
图4描绘了可以在图1的运动捕捉系统中使用的计算环境的另一个示例框图。在运动捕捉系统中，可以使用计算环境来解释一个或多个姿势或其他移动，并作为响应，更新显示器上的视觉空间。计算环境220包括通常包括各种有形的计算机可读存储介质的计算机241。这可以是能由计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)223和随机存取存储器(RAM)260。基本输入/输出系统224(BIOS)包括如在启动时帮助在计算机241内的元件之间传输信息的基本例程，它通常储存在ROM 223中。RAM 260通常包含处理单元259可以立即访问和/或目前正在操作的数据和/或程序模块。图形接口231与GPU 229进行通信。作为示例而非限制，图4描绘了操作系统225、应用程序226、其他程序模块227，以及程序数据228。
计算机241也可以包括其它可移动/不可移动、易失性/非易失性计算机存储介质，例如，读写不可移动、非易失性磁性介质的硬盘驱动器238，读写可移动、非易失性磁盘254的磁盘驱动器239，以及读写诸如CD ROM或其他光学介质之类的可移动的，非易失性光盘253的光盘驱动器240。可以在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性有形的计算机可读存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。硬盘驱动器238通常由不可移动存储器接口，诸如接口234连接至系统总线221，磁盘驱动器239和光盘驱动器240通常由可移动存储器接口，诸如接口235连接至系统总线221。
上文所讨论的并且在图4中所描绘的驱动器以及它们的相关联的计算机存储介质，为计算机241提供了计算机可读的指令、数据结构、程序模块及其他数据的存储。例如，硬盘驱动器238被描绘为存储了操作系统258、应用程序257，其他程序模块256，以及程序数据255。注意，这些组件可以与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可以与它们不同。在此给操作系统258、应用程序257、其他程序模块256、以及程序数据255提供了不同的编号，以说明至少它们是不同的副本。用户可以通过诸如键盘251和定点设备252(通常被称为鼠标、跟踪球或触摸板)之类的输入设备向计算机241中输入命令和信息。其他输入设备(未示出)可以包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等等。这些和其他输入设备通常通过耦合至系统总线的用户输入接口236连接至处理单元259，但也可以由其他接口和总线结构，诸如并行端口、游戏端口或通用串行总线(USB)来连接。图2的深度照相机系统20，包括照像机26和28，可以为控制台100定义附加的输入设备。监视器242或其他类型的显示器也通过接口，诸如视频接口232，连接至系统总线221。除监视器之外，计算机还可以包括可以通过输出外围接口233连接的诸如扬声器244和打印机243之类的其他外围输出设备。
计算机241可以使用到诸如远程计算机246之类的一个或多个远程计算机的逻辑连接在联网环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他公共网络节点，通常包括上文相对于计算机241所描述的许多或全部元件，但是图4中只描绘了存储器设备247。逻辑连接包括局域网(LAN)245和广域网(WAN)249，但是，也可以包括其他网络。这样的联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。
当在LAN联网环境中使用时，计算机241通过网络接口或适配器237连接至LAN 245。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他装置。调制解调器250可以是内置或外置的，它可以经由用户输入接口236或其他适当的机制连接至系统总线221。在联网环境中，相对于计算机241所描述的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图4描绘了驻留在存储器设备247上的远程应用程序248。可以理解，所示的网络连接是示例性的，且可以使用在计算机之间建立通信链路的其他手段。
计算环境可包括有形的计算机可读存储，其上包括用于编程至少一个处理器以执行用于生成代理训练数据以供如此处所描述的人体跟踪的方法的计算机可读的软件。有形计算机可读存储可包括，例如，组件222、234、235、230、253和254中的一个或多个。此外，计算环境的一个或多个处理器可以提供处理器实现的用于生成代理训练数据以供人体跟踪的方法，，该方法包括如此处所描述的处理器实现的步骤。处理器可包括，例如，组件229和259中的一个或多个。
图5A描绘了图2的3-D深度照像机22的照明器24的示例配置。如上文所提及的，深度照相机系统通常包括诸如图1和2的照明器24之类的照明系统，以及诸如图1和2的图像传感器26之类的成像系统。在某些情况下，照明器是利用某种图案(在确定深度的结构化光方法中)或以某种调制相位(在确定深度的飞行时间方法中)照明视野中的人类目标或其他对象的投影仪。当使用激光作为照明器中的光源时，光具有窄的波长带宽，并提供了包括与光的波长匹配的窄带通滤光片的成像系统。不使用激光作为照明源而改为使用SLED是合乎需要的。然而，SLED的带宽太宽，难以利用和激光源一起使用的二元DOE的类型来创建高对比度的照明图案。这对于某些情况是可以接受的，但对于其他情况是不可接受的。然而，带有无色DOE的SLED可用于代替照明系统中的激光和二元DOE，并可以实现等效的性能。有利地，可以不将激光作为深度照像机照明系统中的光源。
也被称为超发光二极管的超辐射发光二极管(SLED)，是基于超辐射来发射宽带光学辐射的光电子半导体器件。它在结构上类似于激光二极管，并包括电驱动的p-n结和光波导。然而，SLED缺乏光反馈，以致于没有激光作用可以发生。可以使用各种方法来抑制光反馈，如倾斜相对于波导的面，和/或通过使用防反射涂层。SLED是其中发生放大的自发发射的半导体光放大器。SLED与LED的相似之处在于，它使用来自激光腔的振幅自发发射，但是，SLED还使用激光腔的设计来实现高度的空间相干性，因此，可以使用简单的准直技术来准直发射光束。
SLED技术正在进步，使得足够高的输出功率当前可用，或者正在变得可用。在某些情况下，可以对SLED的腔进行调整，以增大输出光的功率。在其他情况下，如果带有足够的输出功率的单个SLED不可用，则可以组合多个SLED。一般而言，适用于深度照像机的一个SLED的输出功率可以是至少75毫瓦，或至少大约100到200毫瓦或更大。或者，多个SLED的组合的输出功率可以是至少75毫瓦，或者至少大约100到200毫瓦。如果SLED光输出不足够强大，则深度照像机的动态范围被缩小，这将影响目标可以被检测的最大距离或为用户提供的环境光的级别。深度照像机仍将在适当条件下以降低的级别运转。例如，视野内的环境光照级可能需要被限制，SLED光可以对在视野内的人类目标可见，而深度照像机可以操作的视野可以被限制。
下面讨论可以适于在深度照相机系统中使用的示例SLED技术。
例如，以引用的方式并入本文中的Zhang，Z.Y.等人的“High-PowerQuantum-Dot Superluminescent LED With Broadband Drive CurrentInsensitive Emission Spectra Using a Tapered Active Region(使用锥形活动区带有带宽驱动电流不敏感的发射光谱的高功率量子点超辐射LED)”(2008年5月15日的IEEE光学技术学(Photonics Technology Letters)第20卷，第10号，782-784页)声明，通过使用自组装的量子点(QD)与高密度、大的不均匀增宽，锥角泵区域，以及蚀刻V凹槽结构，来实现高功率的并且宽带量子点(QD)的超辐射发光二极管。它们提供宽面积的设备，该设备表现出大于70-nm 3-dB的带宽，在连续波操作下，带有100-mW输出功率的驱动电流不敏感的发射光谱。对于脉冲操作，获得大于200-mW输出功率。
以引用的方式并入本文中的Konoplev，O.A.等人的“Half-watthigh-power single mode superluminescent LED at 1335 nm with single-facetelectro-optical efficiency of 28％(带有28％的单面电光效率的1335纳米的半瓦特高功率单模超辐射LED)”(SPIE会刊，2005年3月7日，第5739卷，发光二极管：研究、制造及应用IX，Steve A.Stockman；H.Walter Yao；E.Fred Schubert，Editors，66-80页)提供了1335nm的半瓦特级单个空间模超辐射激光二极管。在10℃的散热器温度，28％的峰值电光效率，实现来自角度-条纹波导的单面的超过500mW的输出光功率。据他们所知，这是到目前为止在文献中报告的SLED设备中最高的光功率和电光转换效率。他们报告，进一步的优化可以导致：1)创建高功率光学设备(SLED)，其电光效率趋近和/或超出法布里-珀罗激光的电光效率(统计两个面输出)，带有相比于法布里-珀罗激光的光能级的绝对光能级，2)电光效率趋近内部量子效率，可能超出在当前的商业半导体激光器和发光结构中观察到的范围的70-80％。
以引用的方式并入本文中的授予Jansen的美国专利申请公布2009/0207873讨论了可以作为超辐射LED来操作的光放大器芯片。该芯片使用耦合两个或更多增益元件的z形光路。每一个单独的增益元件都具有圆孔，并包括增益区和至少一个分布式布拉格(Bragg)反射器。该芯片可包括至少两个增益元件，它们是隔开的，并具有不大于0.5的填充因子，以便增大总的光学增益。
以引用的方式并入本文中的Jayaraman的美国专利7,671,997提供了高功率宽带SLED。SLED在InP衬底具有均匀的AlGaInAs量子阱，在1100到1800nm的范围发射。这种材料系统的有利的导带与价带偏移比率(condition band-to-valence band offset ratio)允许同时提供高功率和大的光学带宽的超发光二极管。展示了超出100mW的输出功率和超出100nm的带宽。在一个实施方式中，使用了带有两个受限的量子态和在100-130nm范围内的高能分离的多个均匀的AlGaInAs量子阱。在另一个实施方式中，使用不均匀的阱，每一个阱都具有两个受限的量子态。
SLED用于出于心血管成像，以及用于其他生物医学目的之类的诸如对组织的医学成像(如利用光学相干层析X射线照相术(OCT))等应用。SLED的其他应用包括测量光导纤维及其他光学组件的色散，测试光电子组件，在光纤传感器中的使用，以及在光纤陀螺仪中的使用。然而，由于会丢弃太多的光，SLED至今没有用于深度照像机，如在运动跟踪系统中，或在其他带宽关键的应用中。此处所提供的系统可使SLED有效地用于深度照像机中，而不会丢弃太多的光。
在图5A的简化示例中，照明器24包括SLED 505、准直透镜525和无色DOE 530。SLED 505和准直透镜525可以被置于照像机外壳内，例如，当无色DOE 530的外表面被置于外壳的周边，以便它可以照明所期望的视野。SLED包括还被称为量子阱层或空腔的活动区508，以及包层506和510。层通常是衬底上的半导体层。对于宽度w、长度l以及高度h，SLED在光束520中的端面发光，在与有源层平面垂直的平面，带有λ/h弧度的远场角发散，在与有源层平面平行的平面，带有λ/w弧度的远场角发散(图5B)。该角发散通常大于激光的角发散，并取决于横模的数量。当只有一个横模时，角发散最大，而当有多个横模时，较小。
λ表示由SLED输出的光的名义波长。光是指电磁辐射，包括例如，具有700nm-3,000nm波长的红外光，包括具有0.75μm-1.4μm波长的近红外光，具有3μm-8μm波长的中波长红外光，以及具有8μm-15μm波长的长波长红外光，这是与由人类发射的红外辐射最近的热成像区域。光还可以包括390nm-750nm的可见光和10nm-390nm的紫外线辐射。如此，来自如此处所使用的SLED的光以及利用这样的光的照明，可以对正常人类眼睛是可见的或不可见的。
SLED可以以飞行时间深度感应方案提供已调制光输出，或者可以以结构化光深度感应方案提供恒定的光输出。在任一种情况下，SLED都可以以例如至少大约200毫瓦的功率级输出光。
准直透镜525从SLED接收光束，并向无色DOE 530提供带有高度准直的准直光束527。作为响应，无色DOE 530输出多个衍射光束540。无色DOE 530可以通过例如将透镜与衍射表面组合来形成。一般而言，使用DOE来从单个准直光束提供多个较小的光束。较小光束在所期望的预定义的图案中定义深度照像机的视野。DOE是光束复制器，因此，所有输出光束将与输入光束具有相同几何结构。例如，在运动跟踪系统中，期望按跟踪站在或坐在房间里的人类目标的方式来照明该房间。为跟踪整个人类目标，视野应该在高度和宽度延伸足够宽的角度，以照射人的整个高度和宽度以及当与运动跟踪系统的应用进行交互时人可以四处移动的区域。可以基于诸如人的预期高度和宽度之类的因素、包括当手臂被举过头或被举到侧面时手臂的跨度、当与应用进行交互时人可以移动的区域的大小、人与照像机的预期距离以及照像机的焦距，来设置适当的视野。
例如，视野可以足以照明站立在距照像机3-15英尺或更远的人，其中，该人的手臂跨度是7英尺高6英尺宽，该人预期在中心位置的+/-6英尺的区域移动，例如，在144平方英尺的占地面积。在其他情况下，视野可以被设计成只照明人的上身区域。当已知用户可能会坐下而不是站起来并四处移动时，缩小的视野是可以接受的。视野可以类似地被设计成照明除人以外的对象。DOE 530可以从单个准直光束提供许多较小的光束，如成千上万的较小的光束。每一个较小的光束都具有单个准直光束的功率的一小部分。较小的衍射光束可以具有名义上相等的强度。
当准直光束是通过激光来提供时，光以相对较小的带宽来提供。可以使用二元DOE来将激光衍射为多个光束，因为它在窄的波长区域是有效的。它不纠正色差。DOE具有充当色散性元件的周期性结构，从而将光拆分和衍射为在不同的方向传播的多个光束。二元DOE通常具有步进式表面，该步进式表面带有各自只有两级的周期性且重复的结构。
在某些情况下，步进式表面的高度大约是穿过的光的波长的二分之一。例如，对于850nm的光，步进高度大约可以是425nm。
相比之下，无色DOE纠正否则将由于与激光相比由SLED发出的光中存在的更宽的波长范围而存在的色差。无色DOE可以具有步进式表面，该步进式表面带有各自具有超过两级(例如，三级，四级或更多级)的周期性且重复的结构。由于无色DOE使用多个步进，它允许二分之一波长的条件在多个波长被满足，由此创建更宽的带宽。即，穿过的光可以大致是步进高度的两倍，或者，对于多个步进高度，步进高度的某个其他指定的倍数。可另选地，DOE可以具有连续的表面。
所描绘的衍射图案是简化表示。在实践中，可以使用简单明了的物理学分析来设计衍射图案。通常，描述了给定表面上的通用衍射相位轮廓。定义了空间中两个相干点源的波长和位置，并且所产生的干涉图描述了衍射相位轮廓。优化程序将表面的曲率、元件的厚度，以及元件间距视为变量。优化程序可以确定描述任何特定透镜系统的衍射相位轮廓的最优系数。其他设计输入可包括光的带宽、要创建的图案、输入功率级、衍射效率以及每一个衍射光束的所期望的一致性。
图5C描绘了图5A的具有多步衍射轮廓的无色DOE 530的细节。DOE530表面上的衍射图案相对于光轴是径向地不对称的，在一种方法中，光轴穿过DOE 530的中心。这里，在光轴(轴d)上提供了中心衍射结构564，而多个连续的衍射结构从光轴径向地向外延伸。在图5C的横截面图中，描绘了多级结构560、561、562、565、566、567和568。同样，这是简化表示。可以相对于坐标系统定义衍射图案，该坐标系统包括描绘了沿着一致的光轴的深度的轴d，以及描绘了与轴d的径向距离的轴r。例如，轴d可以与图1中的z轴一致。例如，衍射图案的每一级或每一步的高度都可以通过沿着d轴的值来表示，并且高度被保持所在的径向范围可以通过值的范围r来表示。可通过例如微刻(microlithography)来制造步进式无色DOE。
放大的显示器569提供了多级结构560的细节以及它如果通过d和r维度来定义。例如，多级结构560可以通过一系列通过直线连接的连续的点来定义，其中，点是按此顺序并具有这些坐标：(r1，d4)，(r2，d3)，(r3，d2)，(r4，d1)。可以类似地定义其他多级结构。
在某些情况下，每一个步进式表面的高度是将被穿过的光的波长的某种比率(例如，1/N，诸如二分之一，其中，N是实数或整数)。例如，高度d4的步进可以在由N乘以距离d4-d1所表示的第一波长范围内穿过光，其中，N＞1，高度d3的步进可以在由N乘以距离d3-d1所表示的第二波长范围内穿过光，而高度d2的步进可以在由N乘以距离d2-d1所表示的第一波长范围内穿过光。附加的步进可以在穿过附加的光的较小波长范围时导致更细的粒度。
DOE 530的正视图将指示衍射图案围绕中心光轴的径向不对称性。一般而言，衍射图案可以提供圆形视野、宽度大于其高度的视野、或高度大于其宽度的视野等等。此外，衍射图案可以在视野内提供相对均匀的光束色散，使得光束的强度或功率大致相等。或者，衍射图案可以在视野内提供不均匀的光束色散。例如，与在视野边缘的衍射光束相比，为在视野中心的衍射光束提供更高的强度或功率。
图5D描绘了作为图5C的无色DOE 530的替代方案的具有连续的衍射轮廓的无色DOE的细节。连续的无色DOE 570在其衍射图案中具有逐渐或连续地变化的高度，可以通过变化的值d来表示，而高度变化所在的径向范围可以通过值的范围r来表示。在图5D的横截面图中，DOE中的连续结构包括围绕光轴延伸的中心衍射结构577，以及向外径向地延伸的多个连续的衍射结构，包括结构573、574、575、576、578、579、580和581。同样，这是简化表示，因为结构通常将是径向不对称的。可以，例如，使用光刻(photolithographic)技术然后蚀刻——化学或者等离子，来制造连续的无色DOE。
在连续的设计中，结构可以沿着d和r轴延伸大约相同的距离，作为对应的多步结构，但是，以连续的、非离散的方式。例如，连续结构573可以沿着d轴延伸距离d4-d1，沿着r轴延伸距离r4-r1(参见图5C)。
图6描绘了使用多个SLED作为图5A的照明器24的替代方案的照明器。如上文所提及的，可以使用一个或多个SLED来实现运动跟踪应用的足够的光功率输出。当组合多个SLED时，可以集成微透镜，以部分地准直来自每一个SLED的输出，并可以使用准直透镜，使用来自每一个微透镜的输出来实现更高度的准直。微透镜是小的透镜，一般具有小于一毫米的直径。通过组合多个SLED，可以实现所希望的功率级。
作为示例，照明器600包括三个SLED 602、612和622。SLED 602向微透镜606输出光束604，微透镜606进而向准直透镜630输出部分地准直的光束608。类似地，SLED 612向相应的微透镜616输出光束614，微透镜616进而向准直透镜630输出部分地准直的光束618。类似地，SLED 622向相应的微透镜626输出光束624，微透镜626进而向准直透镜630输出部分地准直的光束628。准直透镜准直接收到的光，以向无色DOE 640提供基本上完全准直的光束632，无色DOE 640包括多步衍射表面，该衍射表面在视野中输出多个衍射光束650。准直光是其光线几乎是平行的光，因此，在它传播时将缓慢地传播或发散。
图7描绘了用于向运动捕捉系统中的应用提供控制输入的方法。步骤700包括跟踪深度照相机系统的视野中的人类目标或用户。人类目标是指，例如，深度照相机系统的视野中的一个或多个人。有关进一步的细节，参见例如图8。步骤702包括基于跟踪向应用提供控制输入。例如，表示诸如用户的姿势或姿态之类的运动的控制输入。步骤704包括在应用中处理控制输入。例如，这可包括更新显示器上的化身的位置，其中，化身表示用户，如在图1中所描绘的，选择用户界面(UI)中的菜单项，或者许多其他可能的动作。
图8描绘了如在图7的步骤700中阐述的用于跟踪人类目标的示例方法。该示例方法可以使用例如深度照相机系统20和/或计算环境12、100或420来实现，如参考图2-4所讨论的。可以扫描一个或多个人类目标，以生成诸如骨架模型、网格人类模型之类的模型、或任何其他合适的个人的表示。在骨架模型中，每一个身体部位都可以被表征为定义骨架模型的关节和骨头的数学矢量。身体部位在关节处可以相对于彼此移动。
然后，可以使用该模型来与由计算环境执行的应用进行交互。用于生成模型的扫描可以在启动或运行应用时发生，或按照所扫描的个人的应用的控制在其他时候发生。
可以扫描个人以生成骨架模型，可以跟踪该骨架模型使得用户的物理移动或运动可用作调整和/或控制应用的参数的实时用户接口。例如，可以使用所跟踪的个人的运动来在电子的角色扮演游戏中移动化身或其他屏幕上的人物；在电子赛车游戏中控制屏幕上的车辆；在虚拟环境中控制对象的构建或组织；或执行应用的任何其他合适的控制。
根据一个实施方式，在步骤800中，例如，从深度照相机系统接收深度信息。深度照相机系统可以捕捉或观察可包括一个或多个目标的视野。在一个示例性实施方式中，深度照相机系统可以使用诸如飞行时间分析、结构化光分析、立体视觉分析等等之类的任何合适的技术，来获取与捕捉区域中的一个或多个目标相关联的深度信息，如所讨论的。深度信息可包括具有多个观察到的像素的深度图像或图，其中，每一个观察到的像素都具有观察到的深度值，如所讨论的。
可以将深度图像降采样到较低的处理分辨率，以便可以更容易地利用较少的计算开销来使用和处理它。另外，可以从深度图像删除和/或平滑一个或多个高-变化和/或有噪深度值；可以填充和/或重构遗漏部分和/或被删除的深度信息；和/或可以对接收到的深度信息执行任何其他合适的处理，以便可以使用深度信息来生成诸如骨架模型之类的模型(参见图9)。
步骤802确定深度图像是否包括人类目标。这可包括对深度图像中的每一个目标或对象进行泛色填充，将每一个目标或对象与图案进行比较以确定深度图像是否包括人类目标。例如，可以将深度图像的所选区域或点中的像素的各深度值进行比较，以确定可以定义目标或对象的边缘，如上文所描述的。可以基于所确定的边缘，对Z层可能的Z值进行泛色填充。例如，与所确定的边缘相关联的像素和边缘内的区域的像素可以彼此相关联，以定义可以与图案相比较的捕捉区域中的目标或对象，下面将更详细地描述。
如果深度图像包括人类目标，则在判定步骤804，执行步骤806。如果判定步骤804是否，则在步骤800中接收附加的深度信息。
每一个目标或对象与其比较的图案可包括一个或多个数据结构，该一个或多个数据结构具有共同地定义人类的典型身体的变量集合。可以将与例如视野中的人类目标和非人类目标的像素相关联的信息与变量进行比较，以标识人类目标。在一个实施方式中，可以基于身体部位，对该集合中的各变量的每一个设置权重。例如，图案中的诸如头和/或肩之类的各种身体部位可以具有与其相关联的权重值，该权重值可以大于诸如腿之类的其他身体部位的权重值。根据一个实施方式，当将目标与变量进行比较以确定目标是否可能是人类以及哪些目标可能是人类时，可以使用权重值。例如，与带有较小权重值的匹配相比，变量和具有较大权重值的目标之间的匹配所产生的目标是人类的可能性更大。
步骤806包括扫描人类目标来寻找身体部位。可以扫描人类目标，以提供与个人的一个或多个身体部位相关联的诸如长度、宽度等等之类的测量值，以提供个人的准确模型。在一示例实施方式中，人类目标可以是被隔离的，可以创建人类目标的位掩码，以扫描一个或多个身体部位。可以通过例如对人类目标进行泛色填充(flood filling)来创建位掩码，以便人类目标可以与捕捉区域元件中的其他目标或对象分开。然后，可以对于一个或多个身体部位分析位掩码，以生成人类目标的诸如骨架模型、网格人类模型等等之类的模型。例如，根据一个实施方式，可以使用由所扫描的位掩码确定的测量值来定义骨架模型中的一个或多个关节。可以使用一个或多个关节来定义可以对应于人类身体部位的一个或多个骨头。
例如，人类目标的位掩码的顶部可以与头的顶部的位置相关联。在确定头的顶部之后，可以向下扫描位掩码，以便随后确定颈部的位置、肩的位置等等。可以将例如，位于被扫描的位置的位掩码的宽度与和例如颈部、肩等等相关联的典型宽度的阈值进行比较。在替换实施方式中，可以使用与位掩码中的身体部位相关联的、与所扫描的先前位置的距离来确定颈部、肩等等的位置。可以基于例如其他身体部位的位置来计算诸如腿、脚等等之类的某些身体部位。在确定身体部位的值时，创建包括该身体部位的测量值的数据结构。该数据结构可包括来自通过深度照相机系统在不同的时间点提供的多个深度图像的平均扫描结果。
步骤808包括生成人类目标的模型。在一个实施方式中，可以使用通过所扫描的位掩码确定的测量值来定义骨架模型中的一个或多个关节。该一个或多个关节被用来定义对应于人类身体部位的一个或多个骨头。
可以调整一个或多个关节，直到各关节在一个关节和人类的一个身体部位之间的典型距离范围内，以生成更准确的骨架模型。还可以基于例如与人类目标相关联的身高来进一步调整模型。
在步骤810中，通过每秒若干次更新个人的位置来跟踪模型。随着用户进入物理空间，使用来自深度照相机系统的信息来调整骨架模型，以便骨架模型表示个人。具体而言，可以向骨架模型的一个或多个力接收面施加一个或多个力，以将骨架模型调整为与物理空间中的人类目标的姿势更紧密地对应的姿势。
一般而言，可以使用用于跟踪个人的移动的任何已知技术。
图9描绘了如在图8的步骤808中阐述的人类目标的示例模型。模型900在-z方向面向深度照像机，使得所示出的横截面位于x-y平面。注意垂直y轴和横向x轴。在诸如图1之类的其他图中提供了类似的概念。模型包括多个参考点，如头902的顶部、头的底部或下巴913、右肩904、右肘906、右手腕908和右手910，如例如由指尖区域所表示的。从用户的角度定义了面向照像机的左右侧。模型还包括左肩914、左肘916，左手腕918和左手920。还描绘了腰部区域922，以及右臀部924、右膝盖926、右脚928、左臀部930、左膝盖932和左脚934。肩部线912是肩904和914之间的线，通常是水平的。例如，还描绘了在点922和913之间延伸的上躯干中心线925。
前面的对本技术的详细描述只是为了说明和描述。它不是为了详尽的解释或将本技术限制在所公开的准确的形式。鉴于上述教导，许多修改和变型都是可能的。所描述的实施方式只是为了最好地说明本技术的原理以及其实际应用，从而使精通本技术的其他人在各种实施方式中最佳地利用本技术，适合于特定用途的各种修改也是可以的。本技术的范围由所附的权利要求进行定义。

Claims (15)

1.一种3-D深度照相机系统，包括：
(a)照明器(24)，所述照明器包括：
(i)至少一个超辐射发光二极管(505)；
(ii)准直透镜(525)，其捕捉来自所述至少一个超辐射发光二极管的光以提供准直光束；以及
(iii)衍射光学元件(530)，其接收所述准直光束，并创建多个衍射光束(540)，所述衍射光束(540)照明包括人类目标(8)的视野(6)；以及
(b)图像传感器(26)，其使用来自所述视野的光来创建所述人类目标的深度图像。
2.如权利要求1所述的3-D深度照相机系统，其特征在于：
所述衍射光学元件是无色的。
3.如权利要求1或2所述的3-D深度照相机系统，还包括：
与所述图像传感器相关联的至少一个处理器(32)，所述至少一个处理器基于所述深度信息随时间跟踪所述人类目标的移动，并向应用提供对应的控制输入，以及所述应用基于所述控制输入来更新显示器。
4.如权利要求1至3中任一项所述的3-D深度照相机系统，其特征在于：
至少一个超辐射发光二极管以至少75毫瓦的功率级输出光。
5.如权利要求1至4中任一项所述的3-D深度照相机系统，其特征在于：
至少一个超辐射发光二极管以至少大约100到200毫瓦的功率级输出光。
6.如权利要求1至5中任一项所述的3-D深度照相机系统，其特征在于：
所述无色衍射光学元件在一端包括多个步进式、多级衍射结构(560-568)，每一个结构都具有三级或更多级。
7.如权利要求1至5中任一项所述的3-D深度照相机系统，其特征在于：
所述无色衍射光学元件具有连续的衍射轮廓。
8.如权利要求1至7中任一项所述的3-D深度照相机系统，其特征在于：
所述至少一个超辐射发光二极管在已调制模式下进行操作，并以至少大约200毫瓦的功率级输出光。
9.如权利要求1至7中任一项所述的3-D深度照相机系统，其特征在于：
所述至少一个超辐射发光二极管在连续模式下进行操作。
10.如权利要求1至9中任一项所述的3-D深度照相机系统，其特征在于：
所述多个衍射光束具有名义上相等的强度。
11.如权利要求1至10中任一项所述的3-D深度照相机系统，其特征在于：
所述无色衍射光学元件包括其在一端具有带有三级或更多级的步进式、多级衍射表面的无色衍射光学元件。
12.一种3-D深度照相机系统，包括：
(a)照明器(600)，所述照明器包括：
(i)多个超辐射发光二极管(602、612、622)；
(ii)每一个超辐射发光二极管的相应的微透镜(606、616、628)；
(iii)准直透镜(630)，其捕捉来自所述相应的微透镜的光，并提供准直光束；以及
(iv)无色衍射光学元件(640)，其接收所述准直光束，并创建多个衍射光束，所述多个衍射光束照明包括人类目标(8)的视野(6)；以及
(b)图像传感器(26)，其使用来自所述视野的光来创建所述人类目标的深度图像。
13.如权利要求12所述的3-D深度照相机系统，其特征在于：
所述无色衍射光学元件在一端包括多个步进式、多级衍射结构(560-568)，每一个结构都具有三级或更多级。
14.如权利要求12或13所述的3-D深度照相机系统，其特征在于：
所述无色衍射光学元件具有连续的衍射轮廓。
15.如权利要求12至14中任一项所述的3-D深度照相机系统，其特征在于：
所述多个超辐射发光二极管以至少100毫瓦的组合功率级输出光。
CN201110171635.4A 2010-06-16 2011-06-15 带有超辐射发光二极管的深度照像机照明器 Active CN102231037B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/816,993 2010-06-16
US12/816,993 US8670029B2 (en) 2010-06-16 2010-06-16 Depth camera illuminator with superluminescent light-emitting diode

Publications (2)

Publication Number Publication Date
CN102231037A true CN102231037A (zh) 2011-11-02
CN102231037B CN102231037B (zh) 2015-02-11

Family

ID=44843613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110171635.4A Active CN102231037B (zh) 2010-06-16 2011-06-15 带有超辐射发光二极管的深度照像机照明器

Country Status (2)

Country Link
US (1) US8670029B2 (zh)
CN (1) CN102231037B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102375171A (zh) * 2011-11-09 2012-03-14 中国科学院物理研究所 一种衍射光学元件及其设计方法和在太阳能电池中的应用
CN105027030A (zh) * 2012-11-01 2015-11-04 艾卡姆有限公司 用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法
CN105210112A (zh) * 2013-04-15 2015-12-30 微软技术许可有限责任公司 带有用于对眼睛安全的操作的非衍射光扩大的衍射光学元件
CN106406002A (zh) * 2016-10-28 2017-02-15 深圳奥比中光科技有限公司 面阵投影装置及深度相机
CN107357123A (zh) * 2017-07-27 2017-11-17 深圳奥比中光科技有限公司 含有菲涅尔透镜的激光投影装置
WO2018176243A1 (zh) * 2017-03-29 2018-10-04 广州新节奏智能科技股份有限公司 一种智能激光侦测系统
WO2018205355A1 (zh) * 2017-05-09 2018-11-15 深圳奥比中光科技有限公司 阵列激光投影装置及深度相机
CN109521631A (zh) * 2017-09-19 2019-03-26 深圳奥比中光科技有限公司 投射不相关图案的深度相机
CN110989276A (zh) * 2018-10-02 2020-04-10 奇景光电股份有限公司 投影机、具有投影机的电子装置、以及用来取得影像资料的深度资讯的方法
CN112995455A (zh) * 2019-12-18 2021-06-18 安讯士有限公司 用于在图像流中引入光脉冲的摄像机和方法
US11314399B2 (en) 2017-10-21 2022-04-26 Eyecam, Inc. Adaptive graphic user interfacing system

Families Citing this family (131)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0718706D0 (en) 2007-09-25 2007-11-07 Creative Physics Ltd Method and apparatus for reducing laser speckle
WO2007136745A2 (en) 2006-05-19 2007-11-29 University Of Hawaii Motion tracking system for real time adaptive imaging and spectroscopy
US11726332B2 (en) 2009-04-27 2023-08-15 Digilens Inc. Diffractive projection apparatus
US9335604B2 (en) 2013-12-11 2016-05-10 Milan Momcilo Popovich Holographic waveguide display
US11300795B1 (en) 2009-09-30 2022-04-12 Digilens Inc. Systems for and methods of using fold gratings coordinated with output couplers for dual axis expansion
US8233204B1 (en) 2009-09-30 2012-07-31 Rockwell Collins, Inc. Optical displays
US11320571B2 (en) 2012-11-16 2022-05-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view with uniform light extraction
US10795160B1 (en) 2014-09-25 2020-10-06 Rockwell Collins, Inc. Systems for and methods of using fold gratings for dual axis expansion
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US8659826B1 (en) 2010-02-04 2014-02-25 Rockwell Collins, Inc. Worn display system and method without requiring real time tracking for boresight precision
WO2012136970A1 (en) 2011-04-07 2012-10-11 Milan Momcilo Popovich Laser despeckler based on angular diversity
WO2013027004A1 (en) 2011-08-24 2013-02-28 Milan Momcilo Popovich Wearable data display
US10670876B2 (en) 2011-08-24 2020-06-02 Digilens Inc. Waveguide laser illuminator incorporating a despeckler
WO2016020630A2 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Waveguide laser illuminator incorporating a despeckler
EP2747641A4 (en) 2011-08-26 2015-04-01 Kineticor Inc METHOD, SYSTEMS AND DEVICES FOR SCAN INTERNAL MOTION CORRECTION
US8634139B1 (en) 2011-09-30 2014-01-21 Rockwell Collins, Inc. System for and method of catadioptric collimation in a compact head up display (HUD)
US9599813B1 (en) 2011-09-30 2017-03-21 Rockwell Collins, Inc. Waveguide combiner system and method with less susceptibility to glare
US9366864B1 (en) 2011-09-30 2016-06-14 Rockwell Collins, Inc. System for and method of displaying information without need for a combiner alignment detector
US9715067B1 (en) 2011-09-30 2017-07-25 Rockwell Collins, Inc. Ultra-compact HUD utilizing waveguide pupil expander with surface relief gratings in high refractive index materials
US9465109B2 (en) * 2011-12-01 2016-10-11 Lockheed Martin Corporation Laser projected acoustic sensor apparatus and method
WO2013102759A2 (en) 2012-01-06 2013-07-11 Milan Momcilo Popovich Contact image sensor using switchable bragg gratings
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US20150253428A1 (en) 2013-03-15 2015-09-10 Leap Motion, Inc. Determining positional information for an object in space
US9523852B1 (en) 2012-03-28 2016-12-20 Rockwell Collins, Inc. Micro collimator system and method for a head up display (HUD)
CN106125308B (zh) 2012-04-25 2019-10-25 罗克韦尔柯林斯公司 用于显示图像的装置和方法
US8644359B1 (en) * 2012-10-22 2014-02-04 Verizon Patent And Licensing Inc. High power quantum dot optical light source
US9285893B2 (en) * 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US9386298B2 (en) * 2012-11-08 2016-07-05 Leap Motion, Inc. Three-dimensional image sensors
US9304603B2 (en) * 2012-11-12 2016-04-05 Microsoft Technology Licensing, Llc Remote control using depth camera
US9933684B2 (en) 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
WO2014120734A1 (en) 2013-02-01 2014-08-07 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
US9674413B1 (en) 2013-04-17 2017-06-06 Rockwell Collins, Inc. Vision system and method having improved performance and solar mitigation
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9727772B2 (en) 2013-07-31 2017-08-08 Digilens, Inc. Method and apparatus for contact image sensing
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US9244281B1 (en) 2013-09-26 2016-01-26 Rockwell Collins, Inc. Display system and method using a detached combiner
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
KR102163728B1 (ko) * 2013-12-05 2020-10-08 삼성전자주식회사 거리영상 측정용 카메라 및 이를 이용한 거리영상 측정방법
US10732407B1 (en) 2014-01-10 2020-08-04 Rockwell Collins, Inc. Near eye head up display system and method with fixed combiner
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
US9519089B1 (en) 2014-01-30 2016-12-13 Rockwell Collins, Inc. High performance volume phase gratings
EP3157422A4 (en) 2014-03-24 2018-01-24 The University of Hawaii Systems, methods, and devices for removing prospective motion correction from medical imaging scans
US9244280B1 (en) 2014-03-25 2016-01-26 Rockwell Collins, Inc. Near eye display system and method for display enhancement or redundancy
CN105096406A (zh) * 2014-04-30 2015-11-25 开利公司 用于建筑能耗设备的视频分析系统和智能楼宇管理系统
US9805454B2 (en) * 2014-07-15 2017-10-31 Microsoft Technology Licensing, Llc Wide field-of-view depth imaging
CN106714681A (zh) 2014-07-23 2017-05-24 凯内蒂科尔股份有限公司 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
US10359736B2 (en) 2014-08-08 2019-07-23 Digilens Inc. Method for holographic mastering and replication
WO2016042283A1 (en) 2014-09-19 2016-03-24 Milan Momcilo Popovich Method and apparatus for generating input images for holographic waveguide displays
US10088675B1 (en) 2015-05-18 2018-10-02 Rockwell Collins, Inc. Turning light pipe for a pupil expansion system and method
US9715110B1 (en) 2014-09-25 2017-07-25 Rockwell Collins, Inc. Automotive head up display (HUD)
US20160140390A1 (en) * 2014-11-13 2016-05-19 Intel Corporation Liveness detection using progressive eyelid tracking
EP3245444B1 (en) 2015-01-12 2021-09-08 DigiLens Inc. Environmentally isolated waveguide display
US9632226B2 (en) 2015-02-12 2017-04-25 Digilens Inc. Waveguide grating device
US9553423B2 (en) 2015-02-27 2017-01-24 Princeton Optronics Inc. Miniature structured light illuminator
US9639166B2 (en) 2015-03-11 2017-05-02 Microsoft Technology Licensing, Llc Background model for user recognition
US20160309135A1 (en) 2015-04-20 2016-10-20 Ilia Ovsiannikov Concurrent rgbz sensor and system
US10145678B2 (en) 2015-04-20 2018-12-04 Samsung Electronics Co., Ltd. CMOS image sensor for depth measurement using triangulation with point scan
US11736832B2 (en) 2015-04-20 2023-08-22 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
US10250833B2 (en) 2015-04-20 2019-04-02 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
US11002531B2 (en) 2015-04-20 2021-05-11 Samsung Electronics Co., Ltd. CMOS image sensor for RGB imaging and depth measurement with laser sheet scan
US10062201B2 (en) 2015-04-21 2018-08-28 Microsoft Technology Licensing, Llc Time-of-flight simulation of multipath light phenomena
US10126552B2 (en) 2015-05-18 2018-11-13 Rockwell Collins, Inc. Micro collimator system and method for a head up display (HUD)
US11366316B2 (en) 2015-05-18 2022-06-21 Rockwell Collins, Inc. Head up display (HUD) using a light pipe
US10247943B1 (en) 2015-05-18 2019-04-02 Rockwell Collins, Inc. Head up display (HUD) using a light pipe
US10108010B2 (en) 2015-06-29 2018-10-23 Rockwell Collins, Inc. System for and method of integrating head up displays and head down displays
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
US10690916B2 (en) 2015-10-05 2020-06-23 Digilens Inc. Apparatus for providing waveguide displays with two-dimensional pupil expansion
EP3380007A4 (en) 2015-11-23 2019-09-04 Kineticor, Inc. SYSTEMS, DEVICES, AND METHODS FOR MONITORING AND COMPENSATING A MOVEMENT OF A PATIENT DURING MEDICAL IMAGING SCAN
US10151838B2 (en) 2015-11-24 2018-12-11 Microsoft Technology Licensing, Llc Imaging sensor with shared pixel readout circuitry
US10598932B1 (en) 2016-01-06 2020-03-24 Rockwell Collins, Inc. Head up display for integrating views of conformally mapped symbols and a fixed image source
US9760837B1 (en) 2016-03-13 2017-09-12 Microsoft Technology Licensing, Llc Depth from time-of-flight using machine learning
WO2017162999A1 (en) 2016-03-24 2017-09-28 Popovich Milan Momcilo Method and apparatus for providing a polarization selective holographic waveguide device
EP3433658B1 (en) 2016-04-11 2023-08-09 DigiLens, Inc. Holographic waveguide apparatus for structured light projection
US20170353641A1 (en) * 2016-06-07 2017-12-07 Intel Corporation Illuminator with engineered illumination pattern
US10386486B2 (en) 2016-06-21 2019-08-20 Microsoft Technology Licensing, Llc Systems and methods for time of flight laser pulse engineering
US10241244B2 (en) 2016-07-29 2019-03-26 Lumentum Operations Llc Thin film total internal reflection diffraction grating for single polarization or dual polarization
TWI678121B (zh) * 2016-10-20 2019-11-21 宏達國際電子股份有限公司 用於一燈塔定位系統之輔助裝置
WO2018102834A2 (en) 2016-12-02 2018-06-07 Digilens, Inc. Waveguide device with uniform output illumination
EP3339951A1 (en) 2016-12-20 2018-06-27 Nokia Technologies Oy Fill lighting apparatus
US10545346B2 (en) 2017-01-05 2020-01-28 Digilens Inc. Wearable heads up displays
US10295824B2 (en) 2017-01-26 2019-05-21 Rockwell Collins, Inc. Head up display with an angled light pipe
US11182915B2 (en) 2017-07-12 2021-11-23 Gentex Corporation Visual, depth and micro-vibration data extraction using a unified imaging device
CN111386495B (zh) 2017-10-16 2022-12-09 迪吉伦斯公司 用于倍增像素化显示器的图像分辨率的系统和方法
US10914950B2 (en) 2018-01-08 2021-02-09 Digilens Inc. Waveguide architectures and related methods of manufacturing
EP3710876A4 (en) 2018-01-08 2022-02-09 DigiLens Inc. SYSTEMS AND PROCESSES FOR THE MANUFACTURE OF WAVEGUIDE CELLS
WO2019135796A1 (en) 2018-01-08 2019-07-11 Digilens, Inc. Systems and methods for high-throughput recording of holographic gratings in waveguide cells
US10942274B2 (en) 2018-04-11 2021-03-09 Microsoft Technology Licensing, Llc Time of flight and picture camera
CN108803067A (zh) * 2018-06-26 2018-11-13 杭州光珀智能科技有限公司 一种光学深度相机及其信号光源处理方法
CN108921098B (zh) * 2018-07-03 2020-08-18 百度在线网络技术（北京）有限公司 人体运动分析方法、装置、设备及存储介质
WO2020023779A1 (en) 2018-07-25 2020-01-30 Digilens Inc. Systems and methods for fabricating a multilayer optical structure
US10990805B2 (en) 2018-09-12 2021-04-27 Apple Inc. Hybrid mode illumination for facial recognition authentication
JP2022520472A (ja) 2019-02-15 2022-03-30 ディジレンズ インコーポレイテッド 統合された格子を使用してホログラフィック導波管ディスプレイを提供するための方法および装置
WO2020186113A1 (en) 2019-03-12 2020-09-17 Digilens Inc. Holographic waveguide backlight and related methods of manufacturing
US20200386947A1 (en) 2019-06-07 2020-12-10 Digilens Inc. Waveguides Incorporating Transmissive and Reflective Gratings and Related Methods of Manufacturing
CN114341729A (zh) 2019-07-29 2022-04-12 迪吉伦斯公司 用于使像素化显示器的图像分辨率和视场倍增的方法和设备
WO2021041949A1 (en) 2019-08-29 2021-03-04 Digilens Inc. Evacuating bragg gratings and methods of manufacturing
US11175730B2 (en) * 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
US11209657B2 (en) 2020-01-24 2021-12-28 Valve Corporation Position tracking system for head-mounted display systems that includes angle sensitive detectors
US11073906B1 (en) 2020-01-27 2021-07-27 Valve Corporation Eye tracking system for head-mounted display devices
CN114902110A (zh) 2020-02-03 2022-08-12 威尔乌集团 用于显示器背光的空间变化偏振器
EP4100785A4 (en) 2020-02-06 2024-03-06 Valve Corporation POLARIZATION MULTIPLEXED OPTICS FOR HEAD-MOUNTED DISPLAY SYSTEMS
WO2021158677A1 (en) 2020-02-06 2021-08-12 Valve Corporation Viewing field-based optical correction using spatially varying polarizers
US11487120B2 (en) 2020-02-06 2022-11-01 Valve Corporation Polarization compensation for wire grid polarizer of head-mounted display system
CN115053167B (zh) 2020-02-06 2024-07-26 威尔乌集团 使用空间变化偏振器的可变光学校正
EP4100786A4 (en) 2020-02-06 2024-03-27 Valve Corporation POLARIZATION RECYCLING OPTICS OF A MICRO LENS ARRANGEMENT FOR ILLUMINATION OPTICS
EP4100784A4 (en) 2020-02-06 2024-03-06 Valve Corporation POSITION TRACKING SYSTEM FOR HEAD-MOUNTED DISPLAY SYSTEMS
US11815684B2 (en) 2020-02-06 2023-11-14 Valve Corporation Spatially and time varying polarization correction optic for scan beam systems
KR20220131330A (ko) 2020-02-06 2022-09-27 밸브 코포레이션 디스플레이 시스템들에 대한 교정 편광 보상 광학부
JP2023512884A (ja) 2020-02-11 2023-03-30 バルブ コーポレーション 空間変動偏光子を用いたカメラデバイス
US11796393B2 (en) 2020-02-11 2023-10-24 Valve Corporation Polarimetry camera for high fidelity surface characterization measurements
KR20220129666A (ko) 2020-02-11 2022-09-23 밸브 코포레이션 조명 광학부에 대한 회절 요소들의 편광-기반 멀티플렉싱
US20210279893A1 (en) * 2020-03-09 2021-09-09 Disney Enterprises, Inc. Interactive entertainment system
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6600509B1 (en) * 1996-08-08 2003-07-29 Qinetiq Limited Detection system
JP2005326192A (ja) * 2004-05-13 2005-11-24 Canon Inc ３次元形状測定装置
CN1818734A (zh) * 2005-02-10 2006-08-16 柯尼卡美能达精密光学株式会社 衍射光栅部件和光通信模块
WO2006109308A1 (en) * 2005-04-12 2006-10-19 Sharon Ehrlich Real-time imaging method and system using structured light
US20070216798A1 (en) * 2004-12-07 2007-09-20 Aoptix Technologies, Inc. Post processing of iris images to increase image quality
CN101191999A (zh) * 2007-11-15 2008-06-04 中国航天科技集团公司第五研究院第五一○研究所 中心对称连续衍射元件掩模微结构图形转移方法
CN100397036C (zh) * 2001-10-02 2008-06-25 西克Ivp股份公司 测量系统中的方法和装置
US20090021750A1 (en) * 2006-02-08 2009-01-22 Christian Kohler Method and Arrangement for a Rapid and Robust Chromatic Confocal 3D Measurement Technique
CN101451826A (zh) * 2008-12-17 2009-06-10 中国科学院上海光学精密机械研究所 物体三维轮廓测量装置及测量方法
US20100051834A1 (en) * 2007-01-12 2010-03-04 Aleksey Lopatin Bright field and dark field channels, used for automotive glass inspection systems

Family Cites Families (224)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4730331A (en) 1985-04-03 1988-03-08 Xerox Corporation Superluminescent LED source
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US4895790A (en) 1987-09-21 1990-01-23 Massachusetts Institute Of Technology High-efficiency, multilevel, diffractive optical elements
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
WO1993010708A1 (en) 1991-12-03 1993-06-10 French Sportech Corporation Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US5416562A (en) * 1992-03-06 1995-05-16 Nikon Corporation Method of detecting a position and apparatus therefor
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
DE4323971C2 (de) 1992-07-16 2002-11-07 Asahi Optical Co Ltd Schreib-/Lesegerät für eine optische Speicherplatte
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5574304A (en) 1992-09-14 1996-11-12 Rohm Co., Ltd. Superluminescent diode with offset current injection regions
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
US5606434A (en) * 1994-06-30 1997-02-25 University Of North Carolina Achromatic optical system including diffractive optical element
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US6205231B1 (en) 1995-05-10 2001-03-20 Identive Corporation Object identification in a moving video image
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US7738678B2 (en) * 1995-06-07 2010-06-15 Automotive Technologies International, Inc. Light modulation techniques for imaging objects in or around a vehicle
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
CA2253626A1 (en) 1996-05-08 1997-11-13 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5995285A (en) * 1996-07-09 1999-11-30 Canon Kabushiki Kaisha Multilevel optical diffraction device with antireflection film and exposure apparatus
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
CN1168057C (zh) 1996-08-14 2004-09-22 挪拉赫梅特·挪利斯拉莫维奇·拉都包夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
US5930383A (en) 1996-09-24 1999-07-27 Netzer; Yishay Depth sensing camera systems and methods
EP0849697B1 (en) 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
WO1999019840A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. A system and method for generating an animatable character
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6411744B1 (en) 1997-10-15 2002-06-25 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US7581681B2 (en) * 1998-03-24 2009-09-01 Metrologic Instruments, Inc. Tunnel-type digital imaging system for use within retail shopping environments such as supermarkets
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
WO2000013048A1 (en) 1998-08-28 2000-03-09 Ksm Associates, Inc. Optical systems employing stepped diffractive surfaces
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
DE69936620T2 (de) 1998-09-28 2008-05-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zum Segmentieren von Handgebärden
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
AU1574899A (en) 1998-12-16 2000-07-03 3Dv Systems Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
CA2267519A1 (en) * 1999-04-13 2000-10-13 Inspeck Inc. Optical full human body 3d digitizer
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6674877B1 (en) 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
JP2001305325A (ja) * 2000-04-26 2001-10-31 Konica Corp 光ピックアップ装置用光学素子および光学素子
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6678413B1 (en) 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6749310B2 (en) 2001-09-07 2004-06-15 Contrast Lighting Services, Inc. Wide area lighting effects system
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
EP1497160B2 (de) 2002-04-19 2010-07-21 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Sicherheitsvorrichtung für ein fahrzeug
US7440590B1 (en) * 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
US6741359B2 (en) 2002-05-22 2004-05-25 Carl Zeiss Meditec, Inc. Optical coherence tomography optical scanner
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US6802451B2 (en) 2002-08-07 2004-10-12 Symbol Technologies, Inc. Scanning actuator assembly for image projection modules, especially in portable instruments
US7227893B1 (en) 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
US7224830B2 (en) * 2003-02-04 2007-05-29 Intel Corporation Gesture detection from digital video images
US6950454B2 (en) 2003-03-24 2005-09-27 Eastman Kodak Company Electronic imaging system using organic laser array illuminating an area light valve
EP1477924B1 (en) 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
JP4355341B2 (ja) 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
JP3738291B2 (ja) * 2003-06-09 2006-01-25 住友大阪セメント株式会社 三次元形状測定装置
EP1631937B1 (en) 2003-06-12 2018-03-28 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7349104B2 (en) * 2003-10-23 2008-03-25 Technest Holdings, Inc. System and a method for three-dimensional imaging systems
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US7841533B2 (en) * 2003-11-13 2010-11-30 Metrologic Instruments, Inc. Method of capturing and processing digital images of an object within the field of view (FOV) of a hand-supportable digitial image capture and processing system
US7119373B2 (en) 2004-01-23 2006-10-10 Exalos Ag Sled
GB0405014D0 (en) * 2004-03-05 2004-04-07 Qinetiq Ltd Movement control system
JP4708422B2 (ja) 2004-04-15 2011-06-22 ジェスチャー テック，インコーポレイテッド 両手動作の追跡
GB2414127A (en) 2004-05-12 2005-11-16 Sharp Kk Time sequential colour projection
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
JP4546198B2 (ja) * 2004-09-24 2010-09-15 キヤノン株式会社 光変調素子を利用したマスクレス露光装置、及び、光変調素子によるパターン生成性能の監視方法
EP1650085A1 (en) * 2004-10-22 2006-04-26 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Occupant-sensing imaging system
US7352011B2 (en) * 2004-11-15 2008-04-01 Philips Lumileds Lighting Company, Llc Wide emitting lens for LED useful for backlighting
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
CN102831387B (zh) 2005-01-07 2016-12-14 高通股份有限公司 检测和跟踪图像中的物体
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
EP1849123A2 (en) 2005-01-07 2007-10-31 GestureTek, Inc. Optical flow based tilt sensor
US7526101B2 (en) 2005-01-24 2009-04-28 Mitsubishi Electric Research Laboratories, Inc. Tracking objects in videos with adaptive classifiers
US7598942B2 (en) 2005-02-08 2009-10-06 Oblong Industries, Inc. System and method for gesture based control system
US8082120B2 (en) * 2005-03-11 2011-12-20 Creaform Inc. Hand-held self-referenced apparatus for three-dimensional scanning
WO2006099597A2 (en) 2005-03-17 2006-09-21 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
RU2007146172A (ru) 2005-05-17 2009-06-27 Гестуретэк, Инк. (Us) Вывод сигнала, чувствительный к ориентации
ATE412882T1 (de) 2005-08-12 2008-11-15 Mesa Imaging Ag Hochempfindliches, schnelles pixel für anwendung in einem bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7606392B2 (en) * 2005-08-26 2009-10-20 Sony Corporation Capturing and processing facial motion data
US8390821B2 (en) * 2005-10-11 2013-03-05 Primesense Ltd. Three-dimensional sensing using speckle patterns
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7416300B2 (en) * 2006-05-25 2008-08-26 Coopervision International Holding Company, Lp Measurement of lenses and lens molds using optical coherence tomography
US7471376B2 (en) 2006-07-06 2008-12-30 Canesta, Inc. Method and system for fast calibration of three-dimensional (3D) sensors
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
JP2008109083A (ja) 2006-09-29 2008-05-08 Seiko Epson Corp レーザ光源装置、照明装置、モニタ装置およびプロジェクタ
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
CA2632346A1 (en) 2006-10-06 2008-04-10 Lalley Brothers Scientific Llc Three-dimensional internal back-projection system and method for using the same
JP5191491B2 (ja) 2006-10-26 2013-05-08 シーリアル テクノロジーズ ソシエテ アノニム 小型ホログラフィック・ディスプレイ装置
US7671997B2 (en) 2006-10-31 2010-03-02 Vijaysekhar Jayaraman High power broadband superluminescent diode
JP2008152116A (ja) * 2006-12-19 2008-07-03 Lasertec Corp 照明装置、及び照明方法
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US8350847B2 (en) * 2007-01-21 2013-01-08 Primesense Ltd Depth mapping using multi-beam illumination
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
WO2008126185A1 (ja) * 2007-03-16 2008-10-23 Fujitsu Limited 情報処理装置、情報処理プログラム、情報処理方法
US7600893B2 (en) 2007-05-01 2009-10-13 Exalos Ag Display apparatus, method and light source
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US20090153752A1 (en) 2007-12-14 2009-06-18 Silverstein Barry D Projector using independent multiple wavelength light sources
JP5211697B2 (ja) 2008-01-07 2013-06-12 セイコーエプソン株式会社 照明装置、画像表示装置及びプロジェクタ
US7801195B2 (en) 2008-02-14 2010-09-21 Koninklijke Philips Electronics N.V. Electrically-pumped semiconductor zigzag extended cavity surface emitting lasers and superluminescent LEDs
GB2458388A (en) * 2008-03-21 2009-09-23 Dressbot Inc A collaborative online shopping environment, virtual mall, store, etc. in which payments may be shared, products recommended and users modelled.
DE102008018637A1 (de) 2008-04-11 2009-10-15 Storz Endoskop Produktions Gmbh Vorrichtung und Verfahren zur Fluoreszenz-Bildgebung
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US10018464B2 (en) * 2008-05-06 2018-07-10 Flashscan3D, Llc System and method for structured light illumination with frame subwindows
CN102112945B (zh) * 2008-06-18 2016-08-10 奥布隆工业有限公司 用于交通工具接口的基于姿态的控制系统
US8618468B2 (en) * 2008-06-30 2013-12-31 Symbol Technologies, Inc. Imaging module with folded illuminating and imaging paths
JP5493483B2 (ja) 2008-07-24 2014-05-14 セイコーエプソン株式会社 プロジェクター
US8717416B2 (en) * 2008-09-30 2014-05-06 Texas Instruments Incorporated 3D camera using flash with structured light
US20100195867A1 (en) 2009-01-30 2010-08-05 Microsoft Corporation Visual target tracking using model fitting and exemplar
KR101738569B1 (ko) * 2009-02-17 2017-05-22 인텔 코포레이션 제스쳐 인식 방법 및 시스템
US20120020518A1 (en) * 2009-02-24 2012-01-26 Shinya Taguchi Person tracking device and person tracking program
CN104990516B (zh) * 2009-02-25 2019-05-28 立体光子国际有限公司 用于三维计量系统的强度和彩色显示
US8199186B2 (en) * 2009-03-05 2012-06-12 Microsoft Corporation Three-dimensional (3D) imaging based on motionparallax
WO2010132802A2 (en) * 2009-05-14 2010-11-18 Andover Photonics, Inc. Shape measurement using microchip based fringe projection
US8654234B2 (en) * 2009-07-26 2014-02-18 Massachusetts Institute Of Technology Bi-directional screen
US8253792B2 (en) * 2009-08-28 2012-08-28 GM Global Technology Operations LLC Vision system for monitoring humans in dynamic environments
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US8134719B2 (en) * 2010-03-19 2012-03-13 Carestream Health, Inc. 3-D imaging using telecentric defocus

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6600509B1 (en) * 1996-08-08 2003-07-29 Qinetiq Limited Detection system
CN100397036C (zh) * 2001-10-02 2008-06-25 西克Ivp股份公司 测量系统中的方法和装置
JP2005326192A (ja) * 2004-05-13 2005-11-24 Canon Inc ３次元形状測定装置
US20070216798A1 (en) * 2004-12-07 2007-09-20 Aoptix Technologies, Inc. Post processing of iris images to increase image quality
CN1818734A (zh) * 2005-02-10 2006-08-16 柯尼卡美能达精密光学株式会社 衍射光栅部件和光通信模块
WO2006109308A1 (en) * 2005-04-12 2006-10-19 Sharon Ehrlich Real-time imaging method and system using structured light
US20090021750A1 (en) * 2006-02-08 2009-01-22 Christian Kohler Method and Arrangement for a Rapid and Robust Chromatic Confocal 3D Measurement Technique
US20100051834A1 (en) * 2007-01-12 2010-03-04 Aleksey Lopatin Bright field and dark field channels, used for automotive glass inspection systems
CN101191999A (zh) * 2007-11-15 2008-06-04 中国航天科技集团公司第五研究院第五一○研究所 中心对称连续衍射元件掩模微结构图形转移方法
CN101451826A (zh) * 2008-12-17 2009-06-10 中国科学院上海光学精密机械研究所 物体三维轮廓测量装置及测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHANG ET AL: "High-Performance quantum-dot superluminescent diodes", 《IEEE PHOTONICS TECHNOLOGY LETTERS》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102375171B (zh) * 2011-11-09 2013-10-02 中国科学院物理研究所 一种衍射光学元件及其设计方法和在太阳能电池中的应用
CN102375171A (zh) * 2011-11-09 2012-03-14 中国科学院物理研究所 一种衍射光学元件及其设计方法和在太阳能电池中的应用
US11262841B2 (en) 2012-11-01 2022-03-01 Eyecam Llc Wireless wrist computing and control device and method for 3D imaging, mapping, networking and interfacing
CN105027030A (zh) * 2012-11-01 2015-11-04 艾卡姆有限公司 用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法
CN105027030B (zh) * 2012-11-01 2018-10-23 艾卡姆有限公司 用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法
CN105210112A (zh) * 2013-04-15 2015-12-30 微软技术许可有限责任公司 带有用于对眼睛安全的操作的非衍射光扩大的衍射光学元件
US9959465B2 (en) 2013-04-15 2018-05-01 Microsoft Technology Licensing, Llc Diffractive optical element with undiffracted light expansion for eye safe operation
US10816331B2 (en) 2013-04-15 2020-10-27 Microsoft Technology Licensing, Llc Super-resolving depth map by moving pattern projector
US10928189B2 (en) 2013-04-15 2021-02-23 Microsoft Technology Licensing, Llc Intensity-modulated light pattern for active stereo
US10268885B2 (en) 2013-04-15 2019-04-23 Microsoft Technology Licensing, Llc Extracting true color from a color and infrared sensor
CN105210112B (zh) * 2013-04-15 2019-08-30 微软技术许可有限责任公司 带有用于对眼睛安全的操作的非衍射光扩大的衍射光学元件
US10929658B2 (en) 2013-04-15 2021-02-23 Microsoft Technology Licensing, Llc Active stereo with adaptive support weights from a separate image
CN106406002B (zh) * 2016-10-28 2018-05-04 深圳奥比中光科技有限公司 面阵投影装置及深度相机
CN106406002A (zh) * 2016-10-28 2017-02-15 深圳奥比中光科技有限公司 面阵投影装置及深度相机
WO2018176243A1 (zh) * 2017-03-29 2018-10-04 广州新节奏智能科技股份有限公司 一种智能激光侦测系统
WO2018205355A1 (zh) * 2017-05-09 2018-11-15 深圳奥比中光科技有限公司 阵列激光投影装置及深度相机
CN107357123A (zh) * 2017-07-27 2017-11-17 深圳奥比中光科技有限公司 含有菲涅尔透镜的激光投影装置
CN109521631A (zh) * 2017-09-19 2019-03-26 深圳奥比中光科技有限公司 投射不相关图案的深度相机
CN109521631B (zh) * 2017-09-19 2021-04-30 奥比中光科技集团股份有限公司 投射不相关图案的深度相机
US11314399B2 (en) 2017-10-21 2022-04-26 Eyecam, Inc. Adaptive graphic user interfacing system
CN110989276A (zh) * 2018-10-02 2020-04-10 奇景光电股份有限公司 投影机、具有投影机的电子装置、以及用来取得影像资料的深度资讯的方法
CN112995455A (zh) * 2019-12-18 2021-06-18 安讯士有限公司 用于在图像流中引入光脉冲的摄像机和方法
CN112995455B (zh) * 2019-12-18 2024-05-31 安讯士有限公司 用于在图像流中引入光脉冲的摄像机和方法

Also Published As

Publication number Publication date
CN102231037B (zh) 2015-02-11
US20110310220A1 (en) 2011-12-22
US8670029B2 (en) 2014-03-11

Similar Documents

Publication Publication Date Title
CN102231037B (zh) 带有超辐射发光二极管的深度照像机照明器
CN102222347B (zh) 使用波阵面编码来创建深度图像
US11768504B2 (en) Light weight and real time slam for robots
US11995244B2 (en) Methods and systems for creating virtual and augmented reality
TWI628465B (zh) 發射結構光的照明模組
JP6880075B2 (ja) ユーザインターフェースメニューのコンテキスト認識
JP7431157B2 (ja) ディスプレイデバイスのための向上された姿勢決定
CN102385237B (zh) 基于结构化光和立体视觉的深度相机
JP7420400B2 (ja) ライトフィールドディスプレイシステムベースの遊園地のアトラクション
CN102332090B (zh) 划分在视野内的焦点区域
US8320621B2 (en) Depth projector system with integrated VCSEL array
CN102129293B (zh) 在运动捕捉系统中跟踪用户组
JP2022512600A (ja) 任意の場所における場所特有の仮想コンテンツのレンダリング
CN102549619B (zh) 人类跟踪系统
EP4052142A1 (en) Individual viewing in a shared space
TW201510554A (zh) 用於同深度攝影機使用的光學模組
CN105723301A (zh) 人体工程学物理交互区域光标映射
CN102314595A (zh) 用于改善话音识别的rgb/深度相机
CN102681293A (zh) 具有折射光学元件的照明器
JP2022553890A (ja) ゲーム環境向けライトフィールドディスプレイシステム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150728

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150728

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.