CN110431841B - 虚拟、增强和混合现实系统的深度感测技术 - Google Patents

虚拟、增强和混合现实系统的深度感测技术 Download PDF

Info

Publication number
CN110431841B
CN110431841B CN201880019671.9A CN201880019671A CN110431841B CN 110431841 B CN110431841 B CN 110431841B CN 201880019671 A CN201880019671 A CN 201880019671A CN 110431841 B CN110431841 B CN 110431841B
Authority
CN
China
Prior art keywords
sensor
depth
mode
steps
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880019671.9A
Other languages
English (en)
Other versions
CN110431841A (zh
Inventor
B·K·史密斯
K·K·谢伊
G·M·林克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Priority to CN202110857359.0A priority Critical patent/CN113568508A/zh
Publication of CN110431841A publication Critical patent/CN110431841A/zh
Application granted granted Critical
Publication of CN110431841B publication Critical patent/CN110431841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics

Abstract

一种用于操作具有至少两种操作模式的传感器的系统和方法。传感器可以提供有公共操作步骤的序列，该公共操作步骤的序列包括在限定第一操作模式的第一操作步骤的序列和限定第二操作模式的第二操作步骤的序列二者中。传感器还可以提供有一个或多个虚拟操作步骤，该虚拟操作步骤涉及第一操作模式和第二操作模式之间的差异。通过使传感器至少执行公共操作步骤，在第一操作模式下操作传感器，并且可以通过使传感器执行公共操作步骤和至少一个虚拟操作步骤，在第二操作模式下操作传感器。

Description

虚拟、增强和混合现实系统的深度感测技术
通过引用任何优先权申请并入
在本申请提交的申请数据表中确定了外国或国内优先权要求的任何和所有申请在此通过在37CFR 1.57下引用并入。即，本申请要求2017年3月21日提交的题为“DEPTHSENSING TECHNIQUES FOR VIRTUAL,AUGMENTED,AND MIXED REALITY SYSTEMS(虚拟、增强和混合现实系统的深度感测技术)”的美国临时申请No.62/474,503的优先权，该临时申请通过引用整体结合于此。
技术领域
本公开涉及深度传感器，诸如可以在虚拟现实、增强现实以及混合现实成像和可视化系统中使用的深度传感器。
背景技术
现代计算和显示技术促进了虚拟现实、增强现实和混合现实系统的发展。虚拟现实或“VR”系统为用户创建模拟环境的体验。这可以通过头戴式显示器向用户呈现计算机生成的图像来完成。该图像创建了一种感官体验，使用户沉浸在模拟环境中。虚拟现实场景通常仅涉及计算机生成的图像的呈现，而不是还包括实际的真实世界图像。
增强现实系统通常用模拟元素补充现实世界环境。例如，增强现实或“AR”系统可以经由头戴式显示器向用户提供周围真实世界环境的视图。然而，计算机生成的图像也可以呈现在显示器上，以增强真实世界的环境。该计算机生成的图像可以包括与真实世界环境在上下文中相关的元素。此类元素可以包括模拟的文本、图像、对象等。混合现实或“MR”系统是一种AR系统，其也将模拟对象引入真实世界环境中，但是这些对象通常以更大程度的交互性为特征。模拟元素通常可以实时交互。
图1描绘了示例AR/MR场景1，其中用户看到以人、树、背景中的建筑物和混凝土平台20为特征的真实世界公园设置6。除了这些项目之外，还向用户呈现计算机生成的图像。计算机生成的图像可以包括例如站在真实世界平台20上的机器人雕像10，以及似乎是飞行的蜜蜂的化身的卡通式的头像角色2，即使这些元素2、10实际上并不存在于真实环境中。
发明内容
在一些实施例中，一种用于操作具有至少两种操作模式的传感器的方法包括：向传感器提供公共操作步骤序列，该公共操作步骤序列包括在限定第一操作模式的第一操作步骤序列和限定第二操作模式的第二操作步骤序列二者中；向传感器提供一个或多个虚拟(dummy)操作步骤，该虚拟操作步骤涉及第一操作模式和第二操作模式之间的差异；通过使传感器至少执行公共操作步骤，在第一操作模式下操作传感器；以及通过使传感器执行公共操作步骤和至少一个虚拟操作步骤，在第二操作模式下操作传感器。
在一些实施例中，传感器可以是深度传感器。第一操作模式可以包括具有第一帧速率的深度感测模式，并且第二操作模式可以是具有比第一帧速率更慢的第二帧速率的深度感测模式。例如，一个或多个虚拟操作步骤可以包括延迟。
在一些实施例中，一种用于操作具有至少两种操作模式的传感器的系统包括：处理器，其被配置为执行包括以下的方法：向传感器提供公共操作步骤序列，该公共操作步骤序列包括在限定第一操作模式的第一操作步骤序列和限定第二操作模式的第二操作步骤序列二者中；向传感器提供一个或多个虚拟操作步骤，该虚拟操作步骤涉及第一操作模式和第二操作模式之间的差异；通过使传感器至少执行公共操作步骤，在第一操作模式下操作传感器；以及通过使传感器执行公共操作步骤和至少一个虚拟操作步骤，在第二操作模式下操作传感器。
附图说明
图1示出了使用示例AR系统的用户对增强现实(AR)场景的视图。
图2示出了可穿戴VR/AR/MR显示系统的示例。
图3示出了示例深度感测系统。
图4示出了用于在多个深度感测模式下有效地操作深度传感器的改进方法的示例。
图5是用于在多个深度感测模式下有效地操作深度传感器的示例状态图。
图6示出了用于在多个深度感测模式下有效地操作深度传感器的改进方法的另一示例。
图7是示出用于多个深度感测模式的公共操作步骤和虚拟操作步骤的示例表。
图8是示出可用于在多个深度感测模式下如何有效地操作的图7的公共操作步骤和虚拟操作步骤的示例表。
图9是用于在高动态范围(HDR)深度感测模式下操作的示例时序图。
具体实施方式
虚拟现实(VR)、增强现实(AR)和混合现实(MR)系统可以包括向用户呈现计算机生成的图像的显示器。在一些实施例中，显示系统是可穿戴的，其可以有利地提供更具沉浸感的VR/AR/MR体验。经由显示器提供的计算机生成的图像可以产生三维的印象。例如，这可以通过向用户呈现立体图像来完成。
图2示出了可穿戴VR/AR/MR显示系统80的示例。VR/AR/MR显示系统80包括显示器62，以及支持该显示器62的功能的各种机械和电子模块和系统。显示器62可以耦接到框架64，该框架64可由用户60佩戴并且将显示器62定位在用户60的眼睛前面。扬声器66可以耦接到框架64并且定位在用户的耳道附近。未示出的另一个扬声器可以定位在用户的另一个耳道附近，以提供立体声/可成形的声音控制。显示器62诸如通过有线或无线连接68可操作地耦接到本地数据处理模块70，该本地数据处理模块70可以以各种配置安装，诸如固定地附接到框架64，固定地附接到由用户佩戴的头盔或帽子，嵌入耳机或以其它方式可拆卸地附接到用户60(例如，以背包式配置，以皮带耦接式配置等)。
本地处理和数据模块70可以包括处理器，以及数字存储器，诸如非易失性存储器(例如，闪存)，两者都可以用于帮助处理和存储数据。这包括从传感器捕获的数据，该传感器诸如：图像捕获设备(例如，相机)、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线设备和/或陀螺仪。传感器可以可操作地耦接到框架64或以其它方式附接到用户60。在一些实施例中，在本地处理和数据模块中存储所有数据并且执行所有计算，允许完全自主使用。可替代地或另外地，可以使用远程处理模块72和/或远程数据储存库74来获取和/或处理传感器数据。本地处理和数据模块70可以通过通信链路(76，78)(诸如经由有线或无线通信链路)可操作地耦接到远程处理模块72和远程数据储存库74，使得这些远程模块(72，74)可操作地彼此耦接并作为资源可用于本地处理和数据模块70。在一些实施例中，远程处理模块72可以包括一个或多个处理器，该处理器被配置为分析和处理数据(例如，传感器数据和/或图像信息)。远程数据储存库74可以包括数字数据存储设施，该数字数据存储设施可以通过互联网或“云”资源配置中的其它网络配置获得。
VR/AR/MR系统80还可以包括深度传感器100。深度传感器100测量用户的周围环境以确定关于到那些周围环境中存在的各种对象和特征的距离的信息。VR/AR/MR应用可以利用各种类型的深度信息，包括短程深度信息(例如，0-2米)、长程深度信息(例如，2-4米及以上)，以及高动态范围(HDR)深度信息。由深度传感器100提供的深度信息可用于允许用户与VR/AR/MR系统交互和/或允许系统将虚拟图像投影到用户的真实世界环境中。
VR/AR/MR系统中长程深度感测的一个应用是使用深度信息来建模用户的环境。例如，深度传感器100可用于确定到房间内的墙壁和对象的距离。得到的深度信息可用于创建房间及其内容的3D模型。特别是在AR/MR系统中，这可以允许系统以逼真和交互的方式将虚拟图像投影到房间中。VR/AR/MR系统中短程深度感测的示例应用是手势识别。例如，VR/AR/MR系统80可以使用深度感测来跟踪用户的手的移动，以便于手势识别。然后，VR/AR/MR系统80可以响应于用户的手势执行某些动作。
假设VR/AR/MR系统80可以使用深度信息来向用户提供交互式沉浸式体验，则深度传感器100相对快速且有效地收集深度信息是有利的，因为这允许VR/AR/MR系统80更具响应性。对于AR/MR应用尤其如此，因为这些可能对围绕用户的真实世界内容与由系统80投影到用户环境中的虚拟内容之间的不连续性高度敏感。因此，本公开描述了改进的技术，该改进的技术可以提高可以收集各种深度感测信息的效率和/或速度。
作为背景技术，一种类型的深度传感器是3D飞行时间(TOF)相机。一般而言，3DTOF相机使用光源照亮场景。然后，TOF相机观察并处理从场景反射的光，以便确定关于到场景内的各种点/对象/特征的距离的信息。一些TOF相机通过向场景内的一个或多个点发射红外光脉冲并且然后测量直到光从场景反射回来的经过(elapse)时间来执行深度测量。基于经过时间，结合光速的知识，相机然后可以确定光行进的距离。另外，一些TOF相机可以通过发射调制光信号(例如，方波或正弦波)并且然后测量照明光信号和反射光信号之间的相移来执行深度测量。然后将这些相移测量转换为距离测量。
在大多数深度感测TOF相机中，照明来自对于人眼不可见的近红外范围(例如，～850nm)中操作的固态激光器或发光二极管(LED)。通常，从光源到场景的照明被设计成相对均匀的。设计成响应与照明光相同的光谱的成像传感器接收来自场景的反射光并将光转换成电信号。在一些实施例中，成像传感器可以是具有例如224×172像素的分辨率的CCD或CMOS传感器，但是也可以使用具有更高或更低分辨率的成像传感器。每个像素位于图像平面中的点处，该点对应于TOF相机的视野内的对象空间或场景中的单独点。因此，在成像传感器的每个像素处收集的信息可用于确定到与该特定像素对应的场景内的点的距离。
由成像传感器的每个像素接收的光具有环境(ambient)分量和反射分量。深度信息仅嵌入在反射分量中。为了区分这两个分量，TOF相机可以在用红外光主动照亮场景之前或之后捕获环境红外光的图像。该环境红外光的图像可以称为强度子帧图像。通过从主动照亮场景时收集的其它子帧图像中减去或以其它方式去除强度子帧图像，深度传感器100可以将红外光的反射分量与场景中的背景噪声区分开。
为了允许检测照明分量和反射分量之间的相移，可以调制来自光源的信号。例如，可以使用方波调制信号。然后，图像传感器检测与相对于调制信号的不同相移对应的多个不同时间的反射光。不同的相移可以是例如角度1、角度2、角度3和角度4，其中角度2＝角度1+Δ，角度3＝角度1+2Δ，角度4＝角度1+3Δ，以及其中角度1和Δ是预定角度。例如，角度1可以是0°并且Δ可以是90°，使得相机可以在相对于调制信号相移0°、90°、180°和270°的时段期间检测在每个像素处接收的反射光。这些测量中的每一个测量都可以导致由相机传感器捕获的单独的相位子帧图像。然后，可以使用本领域中已知的数学方程根据四个相位子帧计算到与传感器像素中的每个传感器像素对应的场景中的点的距离。因此，可以确定一组深度测量(每个像素一个)的每个完整的深度信息帧由图像数据的若干子帧组成。
调制的照明信号是周期性的，并且因此每360°的相移重复一次。因此，一些TOF相机基于反射光相对于调制的照明信号的相移来测量深度的事实意味着测量的距离将受到混叠效应。这些混叠效应可能导致测量距离的模糊。发生混叠的距离(即，模糊距离)也是TOF相机可以测量的最大无模糊距离。通过降低照明光的调制频率可以扩展最大可测量距离，但这可能以降低深度测量分辨率为代价。为了在不妥协深度测量分辨率的情况下解决深度模糊，TOF相机可以使用具有不同频率的两个或更多个单独的调制信号(例如，Fmod0和Fmod1)来调制照明光。通过测量反射光相对于多个调制频率中的每一个调制频率的相移来执行深度测量。由于每个调制频率不同，每个调制频率将具有不同的模糊距离。到场景中给定点的实际距离是使用不同调制频率进行的测量一致的距离。
在TOF相机中，可以测量相机传感器中的每个像素的距离。这导致相机视野内的场景的深度图。深度图是三维空间内的点或体元(voxel)的集合，其中每个体元位于由对应的传感器像素测量的距离处。深度图可以在三维空间中渲染为点集合或点云。可以在数学上连接3D点以形成网格。网格可用于建模场景、检测对象等。此外，虚拟内容可以通过VR/AR/MR系统映射到网格上，以提供与用户真实生活环境相互作用的逼真3D虚拟内容。
在VR/AR/MR系统80中，各种类型的深度测量对于不同目的可能是有利的。例如，近程低帧速率深度测量可足以用于检测用户的手何时出现在深度传感器100的视野中。一旦检测到用户的手存在于深度传感器的视野中的事实，近程高帧速率深度测量对于跟踪用户的手的移动可能更有用，并且从而检测正在进行的特定手势。同时，低帧或高帧速率的长程深度测量对于映射用户的环境非常有用。此外，从近程到长程的高动态范围(HDR)深度测量也是有益的。
考虑到许多不同类型的深度测量在VR/AR/MR系统80中可能是有用的，深度传感器100可以包括多个操作模式以收集这些不同类型的深度测量中的每一个。每个模式可以包括例如由深度传感器100执行的一系列操作。取决于模式，这些操作中的每一个操作可以涉及不同的设置或参数，诸如曝光时间、照明光强度、照明调制频率等。下表说明了一些深度感测模式的示例操作序列和配置设置。
表1示出了短程高帧速率深度感测模式的示例操作序列。在一些实施例中，该操作模式用于在小于约20米(取决于调制频率和曝光时间)的范围内感测深度，帧速率大于约20Hz。在该特定实施例中，帧速率是45Hz，这意味着每22.22ms(1/45秒)捕获一个完整的深度信息帧。在该情况下，每个完整的深度信息帧基于强度子帧(用于在照明源关闭时测量环境红外光)和四个相位子帧(在照明源被调制时捕获)。
Figure BDA0002208672850000081
表1
用于短程高帧速率深度感测模式的示例操作序列从步骤0开始，该步骤0获得强度子帧。然后，在步骤1-4期间，捕获四个相位子帧。对于短程测量，这些子帧中的每一个子帧的曝光时间(即，图像传感器捕获光期间的时间)通常小于约0.5ms。每个子帧还包括用于从图像传感器传送捕获的图像数据的相关联的读出时间。读出时间通常小于约1ms。
短程高帧速率操作模式可以可选地包括如操作序列的步骤5的相对短的延迟。该延迟可以等于例如操作序列的22.22ms时段与完成步骤0-4所需的总时间之间的差。换句话说，步骤5的可选短延迟可以在操作序列的时段期间占用任何附加时间，这对于捕获和读出强度子帧和四个相位子帧是不需要的。尽管表1列出了该特定深度感测模式的操作步骤的特定顺序，但是操作步骤也可以可替代地以不同的顺序执行。对于在此描述的其它操作模式也是如此。
表2示出了用于短程低帧速率深度感测模式的示例操作序列。该操作模式可用于在小于约2米(取决于调制频率和曝光时间)的范围内感测深度，帧速率小于约20Hz。在该特定实施例中，帧速率是8Hz，这意味着每125ms捕获一个完整的深度信息帧。与前一情况一样，每个完整的深度信息帧基于强度子帧和四个相位子帧。尽管短程高帧速率模式具有以更好的时间分辨率产生深度测量的优点，但是短程低帧速率模式可能是有益的-由于计算密集度较低，从而允许系统进入低功率模式和节能-当较低的时间分辨率足以完成手头的任务时。
Figure BDA0002208672850000091
表2
短程低帧速率模式的示例操作序列从步骤0开始，该步骤0获得强度子帧。然后，在步骤1-4期间，捕获四个相位子帧。再次，对于短程测量，这些子帧中的每一个子帧的曝光时间通常小于约0.5ms，并且每个子帧的读出时间通常小于约1ms。表2中的步骤0-4与表1中的步骤0-4相同。因此，短程低帧速率操作模式和短程高帧速率操作模式具有这五个公共步骤。
但是，短程低帧速率操作模式还包括如操作序列的步骤5的相对长的延迟。该延迟可以等于例如操作序列的125ms时段与完成步骤0-4所需的总时间之间的差。步骤5的相对长的延迟占据了操作序列的时段期间的时间，这对于捕获和读出强度子帧和四个相位子帧是不需要的。因此，表1和表2中分别示出的两个短程操作模式之间的差异涉及表2中的步骤5的相对长的延迟与表1中的步骤5的可选的相对短的延迟之间的差异。
表3示出了用于长程高帧速率深度感测模式的示例操作序列。例如，该操作模式可以用于在约2-4米(取决于调制频率和曝光时间)的范围内感测深度，帧速率大于约20Hz。与短程深度数据一样，每个完整的长程深度信息帧基于图像数据的若干子帧。再次，存在用于在照明源关闭时测量环境红外光的强度子帧。但是在长程深度数据的情况下，存在图像数据的八个相位子帧：用于两个照明调制频率Fmod1和Fmod2中的每一个照明调制频率的四个相位子帧。
Figure BDA0002208672850000101
表3
用于长程高帧速率深度感测模式的示例操作序列从步骤0开始，该步骤0获得强度子帧。然后，在步骤1-4期间，捕获用于第一调制频率Fmod1的四个相位子帧，而在步骤5-8期间，捕获用于第二调制频率Fmod2的四个子帧。对于长程测量，这些子帧中的每一个子帧的曝光时间(即，图像传感器捕获光期间的时间)比短程测量更长，通常为2-3ms。(用于长程子帧的其它参数或设置也可以与短程子帧不同)。每个子帧还包括用于从图像传感器传送捕获的图像数据的大约1ms的相关联的读出时间。
长程高帧速率操作模式可以可选地包括如操作序列的步骤9的相对短的延迟。该延迟可以等于，例如，操作序列的时段与完成步骤0-8所需的总时间之间的差。换句话说，步骤9的可选短延迟可以在操作序列的时段期间占用任何额外的时间，这是为了捕获和读出强度子帧和八个相位子帧所不需要的。
表4示出了用于长程低帧速率深度感测模式的示例操作序列。该操作模式可用于在约2-4米(取决于调制频率和曝光时间)的范围内感测深度，帧速率小于约20Hz。在该特定实施例中，帧速率是5Hz，这意味着每200ms捕获一个完整的深度信息帧。与前面的情况一样，每个完整的深度信息帧基于强度子帧和八个相位子帧。
Figure BDA0002208672850000111
Figure BDA0002208672850000121
表4
用于长程低帧速率模式的示例操作序列从步骤0开始，该步骤0获得强度子帧。然后，在步骤1-8期间，捕获八个相位子帧。再次，对于长程测量，这些子帧中的每一个子帧的曝光时间通常小于约2-3ms，并且每个子帧还包括用于从图像传感器传送捕获的图像数据的相关联的读出时间。读出时间通常小于约1ms。表4中的步骤0-8与表3中的步骤0-8相同。因此，长程低帧速率操作模式和长程高帧速率操作模式具有这九个公共步骤。
但是，长程低帧速率操作模式还包括如操作序列的步骤9的相对长的延迟。该延迟可以等于例如操作序列的200ms时段与完成步骤0-9所需的总时间之间的差。换句话说，步骤9的长延迟可以在操作序列的时段期间占用任何附加的时间，这对于捕获和读出强度子帧和八个相位子帧是不需要的。因此，表3和表4中所示的两种操作模式之间的差异涉及表4中的步骤9的相对长的延迟与表3中的步骤9的可选的相对短的延迟之间的差异。
为了在特定深度感测模式(例如，表1-4中所示的任何深度感测模式中的任一个)下操作，需要采用适当的操作步骤(和相关联设置)序列对深度传感器100进行编程。传统的深度传感器通常具有多个存储器箱，用于保持编程指令。每个箱可以保持例如表1-4的操作序列中所示的操作中的一个操作。因此，为了编程TOF相机以在短程高帧速率深度感测模式下(即，根据表1)操作，通常将需要五个或六个编程箱。类似地，短程低帧速率模式(即，根据表2)通常需要六个编程箱。同时，长程高帧速率操作模式(即，根据表3)通常需要9或10个编程箱，而长程低帧速率操作模式(即，根据表4)通常需要10个编程箱。因此，使用传统方法，可能需要6+6+10+10＝32个存储器箱，以便将深度传感器100编程为能够在所有这四种深度感测模式下操作。
深度传感器100可以被编程为通过将相应的操作步骤(和相关联的设置)加载到传感器的存储器箱中而以表1-4中所示的任何深度感测模式以及其它深度感测模式操作。在一些实现方式中，该编程过程可以花费例如大约160ms，但是取决于特定实现方式，它可能花费更长或更短的时间周期。因此，如果一次仅一组操作步骤(对应于一个深度感测模式)被编程到深度传感器的存储器箱中，则可能需要大约160ms的成本，以重新编程深度传感器以便切换操作模式。如果深度传感器不需要经常改变模式，则该时间成本是可以接受的。然而，在VR/AR/MR系统80中，可能需要相对经常地在深度感测模式之间切换。因此，重新编程深度传感器所需的时间可能成为问题，因为它可能在系统的响应性方面引入显著的滞后。通过在此描述的深度感测技术解决了这个和其它问题。
图3示出了示例深度感测系统300。深度感测系统300包括状态机320、仲裁器330和深度传感器100本身。状态机320和仲裁器330可以实现为硬件(例如，一个或多个处理器，包括通用处理器、现场可编程门阵列(FPGA)、专用集成电路(ASIC)等)和/或软件(例如，存储在存储器中的计算机可读指令、非瞬态介质等)。图3还示出了与深度感测系统300通信的若干混合现实(MR)应用310。这些是在VR/AR/MR系统80上操作的应用。这些应用310中的一个应用可以是例如姿势识别应用。另一个可能是三维地图应用。另一个可能是虚拟内容投影应用。这些应用310中的每一个应用可能在不同时间需要各种不同类型的深度信息。在同一时刻或接近同一时刻，不同应用310需要不同类型的深度信息并不罕见。因此，有利的是，深度感测系统300能够在深度感测模式之间切换以尽可能快速且有效地获得所请求的深度信息。应该注意，尽管图3中仅示出了混合现实应用，但是虚拟现实和增强现实应用还可以与深度感测系统300通信以请求和接收深度信息。
每个应用310可以根据需要向深度感测系统300请求各种类型的深度信息。仲裁器330负责接收对深度信息的请求以及用于调度将提供所请求的深度信息的深度感测操作。在一些实施例中，仲裁器330还优先化深度测量的请求，以便首先服务更多的时间关键的应用。例如，在一些实施例中，仲裁器330按以下顺序对深度感测请求进行优先化(尽管也可以使用其它优先化方案)：1)短程高帧速率深度测量；2)高动态范围深度测量(由与长程低帧速率深度测量交错的短程低帧速率深度测量组成)；3)短程低帧速率深度测量；4)长程高帧速率深度测量；5)长程低帧速率深度测量；以及6)闲置状态。
在一些实施例中，深度测量请求被优先化的顺序基于请求应用的优先级。例如，由于VR/AR/MR系统通常依赖于用户手势来提供控制输入(因为此类系统通常不具有触摸板、键盘或其它物理输入设备)，所以可以为任何用户手势分配最高优先级。因此，在一些实施例中，最高优先级模式可以是用于跟踪手势的短程高帧速率深度测量。然而，应该理解的是，可以以各种方式为各种深度感测模式分配优先级以适应不同的操作需求。
一旦深度信息的请求被仲裁器330优先化和调度，状态机320就用于控制深度传感器100的硬件，以便实际执行所需的测量并返回所请求的数据。作为该任务的一部分，状态机320可以执行各种任务，包括将操作步骤(和相关联设置)存储在深度传感器100的存储器箱中；设置所选的深度感测模式；以及当基于来自仲裁器330的输入需要这样做时，切换深度传感器100的深度感测模式。关于图4和图5更详细地描述状态机320的操作。
图4示出了用于在多个深度感测模式下有效地操作深度传感器100的改进方法400的示例。方法400在框410处以配置深度传感器100的命令开始。可以在例如深度感测系统300的启动或重置时发出该类型的命令。
在框420处，深度感测系统300通过将用于第一深度感测模式的操作序列加载到深度传感器的第一组存储器箱中来开始深度传感器100的配置。例如，第一深度感测模式可以是短程高帧速率模式。如果是这种情况，则深度感测系统300将使表1中的操作步骤序列加载到深度传感器的存储器箱中。在传统的深度感测系统中，深度传感器100然后将继续以第一深度感测模式操作以获得深度测量，直到需要不同的深度感测模式。然而，在此描述的深度感测系统300继续到框430，其中它将第二至第N深度感测模式的操作序列加载到深度传感器100的多组存储器箱中。例如，第二深度感测模式可以是长程高帧速率模式。如果是这种情况，则深度感测系统300将把表3中的操作步骤序列加载到深度传感器100的存储器箱中。只要在深度传感器100中存在可用的存储器箱，也可以在该配置序列期间编程附加的深度感测模式。如下面进一步讨论的，可以在深度感测开始之前执行这些配置步骤，从而避免在深度感测模式之间改变时的配置延迟。
在框440处，方法400继续开始收集深度信息的命令。可以基于仲裁器330调度的深度感测任务来发出该命令。在框450处，状态机320指定要使用哪个编程的深度感测操作模式。如果在框450中指定了第一深度感测操作模式，则方法400继续到框460上。在框460处，深度传感器100通过执行在第一组存储器箱中指定的操作序列在第一深度感测模式下操作。在第一深度感测模式下，深度传感器100继续捕获一帧或多帧深度信息。一旦该测量完成，该方法返回到框450，其中可以再次指定深度感测操作模式。
一旦返回到框450，如果深度感测操作模式改变，则方法400前进到框470。在框470处，通过执行在相应组的存储器箱中指定的操作序列，深度传感器100可以在第二至第N深度感测模式中的任何一个深度感测模式下操作。在根据第二至第N深度感测操作模式中的任何一个深度感测操作模式收集一帧或多帧深度信息之后，方法400返回到框450并且根据由仲裁器330调度的深度感测任务迭代地重复。
图4中所示的操作方法是有利的，因为它可以通过减少由于所请求的深度感测操作模式的变化而专用于编程深度传感器100的时间量来提高深度感测效率。这是通过将与多个深度感测模式对应的操作步骤同时编程到深度传感器的存储器箱中来实现的。例如，深度传感器的前六个存储器箱可以用表2的操作步骤编程，而深度传感器的下十个存储器箱可以用表4的操作步骤编程。这样，深度传感器通过执行存储在前六个箱中的指令，可以在短程低帧速率模式(对应于表2)下操作。或者深度传感器可以通过执行存储在接下来的十个箱中的指令在长程低帧速率模式(对应于表4)下操作。深度传感器可以在这些模式之间交替，而不会导致重新编程存储器箱所需的时间损失。因此，可以提高深度信息的收集效率和速度。
在一些实施例中，状态机320执行使深度传感器100从一种深度感测模式切换到另一种深度感测模式而不需要重新编程存储器箱的操作。状态机320通过执行来自深度传感器100中不同组/子组的存储器箱的操作步骤序列来提供在深度感测模式之间交替的能力。状态机320可以从外部控制多组/子组存储器箱和存储器箱的序列，深度传感器100根据多组/子组存储器箱和存储器箱的序列执行指令。在没有状态机320的情况下，深度传感器100可以简单地通过存储在其存储器箱中的命令循环，而无需选择要执行的特定命令组/子组以便实现所需的深度感测模式的能力。
图5是用于在多个深度感测模式下有效地操作深度传感器100的示例状态图500。图5中所示的状态可以由状态机320与仲裁器330一起工作来实现。在一些实施例中，深度感测系统300具有三种状态：1)“热待机”状态510；2)“开启”状态520；以及3)“待定热待机”状态530。在根据图4中的框410-430进行编程之后，深度传感器100可以置于热待机状态510。
基于在图4中的方法的框440处开始收集深度信息的命令，状态机320将深度传感器100置于开启状态520。该状态改变可以通过例如首先打开帧缓冲器以接收深度信息来完成。接下来，状态机320可以将主机VR/AR/MR系统80设置为接受流式传输深度信息。然后，状态机320可以根据图4所示方法的框450设置深度感测模式。如在此所讨论的，状态机320可以通过指定存储在深度传感器100的存储器箱中以执行的操作步骤的组/子组和/或操作步骤序列来设置深度感测模式。例如，可以通过将深度传感器100设置为仅执行由箱X-Y指定的操作序列来指定第一深度感测模式，其中X是任何整数并且Y是大于X的任何整数。最后，状态机320可以设置深度传感器100根据指定的深度感测模式开始流式传输深度信息。深度传感器100根据指定的模式继续流式传输深度信息帧，同时处于开启状态520，直到存在用于切换到待定热待机状态530的每个条件。
在一些实施例中，当满足以下条件时，状态机320将深度传感器从开启状态520切换到待定热待机状态530：1)已经接收到完整的深度信息帧；2)仲裁器330指示需要模式切换。一旦满足这些条件，状态机320就将深度传感器100置于待定热待机状态530。在该状态下，状态机320将深度传感器设置为停止流式传输。
当处于待定热待机状态530时，状态机320确保维持当前深度感测模式的帧时段。这是出于眼睛安全的原因而完成的，以限制深度传感器100每指定的单位时间输出的能量的量。例如，如果调度以5Hz的帧速率进行特定深度测量，则该测量的帧时段是200ms。通常，深度传感器100中的光源的功率基于该帧时段设置在安全水平处。因此，在一些实施例中，状态机320不允许改变深度感测模式，直到200ms帧时段已经过去，因为这样做可以立即启动新的深度测量，这可能进而导致在200ms时段期间发出附加的辐射，从而可能超过眼睛安全极限。
当仍处于待定热待机状态530时，状态机320将主机VR/AR/MR系统80设置为待机状态并关闭用于接收深度信息的帧缓冲器。一旦这些动作完成，深度感测系统状态机320将深度传感器100转换到热待机状态510。状态机320与仲裁器330一起工作，然后指定下一个深度感测模式并且该过程可以重复。再一次，通过指定存储在深度传感器100的存储器箱中要执行的的操作步骤的组/子组和/或操作步骤序列来设置下一个深度感测模式。并且以该方式改变深度感测模式不需要重新编程深度传感器100，因为下一深度感测模式的操作步骤已经存储在存储器箱中。
尽管图4中示出的方法400可以提高深度感测操作的效率，它可以受到深度传感器100提供的可用存储器箱数量的限制。取决于深度感测模式的所需数量和类型，可能没有足够的存储器箱来容纳所需的操作指令序列。例如，如果深度传感器100仅提供15个存储器箱，则根据传统技术，不可能同时采用表1-4中描述的所有四种深度感测模式所需的操作序列来编程深度传感器，更不用说附加的深度感测模式。这是因为那些深度感测模式共同包括多于15个的操作步骤。因此，即使实现了图4中所示的方法400，取决于可用存储器箱的数量，深度传感器100仍然可能必须周期性地重新编程以便提供表1-4中所述的所有深度感测模式。如已经讨论的，这可能导致时间损失，这是不希望的。通过向深度传感器提供附加的存储器箱可以减轻该问题。然而，这样做会增加深度传感器的尺寸和成本。但是还有另一种技术，如图6-8中所示，即使当存储器箱的数量可能不足以容纳所有所需深度感测模式的操作序列时，其也可用于进一步提高深度传感器100的效率。该技术利用了以下事实：不同的深度感测模式可以具有公共的若干操作步骤，使得这些公共的步骤不必一次被编程到深度传感器100中。
图6示出了用于在多个深度感测模式下有效地操作深度传感器100的改进方法600的另一示例。该方法600可以使用图3中所示的相同深度感测系统300和图5的状态图500中所示的相同操作状态来执行。方法600在框610处以配置深度传感器100的命令开始。再一次，可以在例如深度感测系统300的启动或重置时发出该类型的命令。在一些实施例中，图6中所示的改进方法600允许深度传感器100的配置在每个操作会话期间仅执行一次。例如，在一些实施例中，在初始编程之后，深度传感器100可能不需要再次编程，直到主机将深度传感器置于重置模式或直到深度传感器重新通电为止。
在框620处，深度感测系统300通过将两个或更多个深度感测模式之间公共的操作步骤加载到深度传感器的存储器箱中来开始深度传感器100的配置。这些公共操作步骤是在两个或更多个操作模式中是相同的操作步骤。例如，对于高帧速率短程深度测量和低帧速率短程深度测量二者，用于捕获强度子帧和四个相位子帧的步骤(和相关联设置)都是相同的。参考表1和表2，这些公共操作步骤对应于步骤0-4。类似地，对于高帧速率长程深度测量和低帧速率长程深度测量二者，用于捕获强度子帧和八个相位子帧的步骤(和相关联设置)都是相同的。参考表3和表4，这些公共操作步骤对应于步骤0-8。
在框630处，深度感测系统300通过将一个或多个虚拟操作步骤加载到存储器箱中来继续深度传感器100的配置。在一些实施例中，虚拟操作步骤是涉及两个或更多个操作模式之间的差异的步骤。通过与两个操作模式的公共操作步骤序列一起执行一个或多个虚拟操作步骤，可以有效地将操作模式中的一个操作模式转换为另一个操作模式。
例如，如在此已经讨论的，高帧速率短程深度感测模式(即，表1)与低帧速率短程深度感测模式(即，表2)之间的差异与相应帧时段之间的差异(或者换句话说，在重复子帧捕获序列之前引入的延迟量之间的差异)相关。在高帧速率短程深度测量的情况下，使用相对短的延迟(或根本没有延迟)。在低帧速率短程深度测量的情况下，引入相对长的延迟以便降低帧速率(并相应地增加帧时段)。因此，对于该对深度测量(即，高帧速率短程深度测量和低帧速率短程深度测量)，虚拟操作步骤可以被定义为表示低帧速率测量的相对长的延迟和高帧速率测量的相对短的可选延迟之间的差异的延迟。换句话说，该对深度感测模式的虚拟操作步骤可以是等于表2的步骤5中的相对长的延迟与表1的步骤5中的相对短的可选延迟之间的差的延迟。同样地，对于高帧速率长程测量和低帧速率长程测量的虚拟操作步骤可以是等于表4的步骤5中的相对长的延迟与表3中的步骤5的相对短的可选延迟之间的差的延迟。
图7是示出用于多个深度感测模式的公共操作步骤和虚拟操作步骤的示例表700。在该示例表700中，步骤0是用于该对长程深度测量的虚拟操作步骤。该虚拟操作步骤是如下延迟，该延迟当被添加到执行高帧速率长程测量模式所执行的操作序列时，将该操作序列转换为低帧速率长程测量模式。该虚拟操作步骤可以存储在深度传感器100的第一存储器箱中。
同时，表700中的步骤1至步骤m是高帧速率长程测量模式和低帧速率长程测量模式之间的公共操作步骤。对于在此讨论的示例TOF相机，长程深度测量需要九个总子帧(一个强度子帧和八个相位子帧)。因此，表700中的索引m将等于9。因此，步骤1-9将用于捕获用于长程操作模式的强度子帧和八个相位子帧。在步骤0处的虚拟操作步骤之后，这些操作步骤可以存储在深度传感器100的接下来的九个存储器箱中。下一步骤是眼睛安全虚拟操作步骤，其在表700中的步骤m+1处提供。关于图9讨论该虚拟操作步骤。
图7中的表700还示出了高帧速率短程测量模式和低帧速率短程测量模式之间的公共操作步骤。这些公共操作在表700中由步骤m+2至步骤m+n+1表示。对于在此讨论的示例TOF相机，短程测量需要五个总子帧(一个强度子帧和四个相位子帧)。因此，表700中的索引n将等于五(并且如刚才所讨论的，索引m将等于9)。因此，步骤11-15将用于捕获用于短程操作模式的强度子帧和四个相位子帧。这些操作步骤可以存储在深度传感器100的接下来的五个存储器箱中。
同时，表700中的步骤m+n+2是用于该对短程深度测量的虚拟操作步骤。该虚拟操作步骤是如下延迟，该延迟当被添加到执行高帧速率短程测量模式所执行的操作序列时，将该操作序列转换为低帧速率短程测量模式。该虚拟操作步骤可以存储在深度传感器100的下一存储器箱中。
如关于图8进一步讨论的，表700中的操作步骤的各种组合可以以所示顺序执行，以便实现各种深度感测操作模式。
在深度传感器100已经根据框610-630用公共操作步骤和虚拟操作步骤编程之后，图6中所示的方法600以开始收集深度信息的命令在框640处继续。在框650处，深度感测系统300指定深度感测操作模式。这可以通过例如指定执行图7中的表700中所示的哪个操作步骤以便执行指定的深度感测操作模式来完成。这将参考图8进行讨论。
图8是示出了图7的公共操作步骤和虚拟操作步骤如何可用于在多个深度感测模式下有效地操作的示例表800。如图8中所示，可以通过执行图7所示的表700中的步骤1至步骤m来执行高帧速率长程深度感测模式(如表3中所示)。通过执行这些步骤，深度传感器100将在步骤1至步骤m期间收集长程强度子帧和八个长程相位子帧。同时，如果深度感测系统300反而要求低帧速率长程深度测量(如表4中所示)，则可以通过代之以执行步骤0至步骤m来完成该操作模式。由于步骤0中的虚拟帧表示高帧速率长程测量和低帧速率长程测量之间的差异，执行除了步骤1至步骤m之外的步骤有效地将操作模式从高帧速率长程测量模式转换为低帧速率长程测量模式。尽管在步骤0处的虚拟操作在表700中示出为在步骤1至步骤m期间在收集子帧之前执行，但是在其它实施例中，它可以在收集子帧之后执行，或者甚至在收集两个子帧之间执行。
图8还示出了高帧速率短程测量深度感测模式(如表1中所示)可以通过执行图7中所示的表700中的步骤m+2至步骤m+n+1来完成。通过执行这些步骤，深度传感器100将收集短程强度子帧和四个短程相位子帧。同时，如果系统反而要求低帧速率短程深度测量(如表2中所示)，则可以通过代之执行步骤m+2至步骤m+n+2来执行该操作模式。由于步骤m+n+2中的虚拟帧表示高帧速率短程测量和低帧速率短程测量之间的差异，执行除了步骤m+2至步骤m+n+1之外的步骤有效地将操作模式从高帧速率短程测量模式转换为低帧速率短程测量模式。
图8中的表800还示出了高动态范围深度感测模式，其包括交错的低帧速率短程测量和长程测量。关于图9讨论该深度感测模式。
在深度感测系统300在框650处指定深度感测操作模式之后，图6中所示的方法600继续到框660或框670上。如框660中所示，深度传感器100可以通过执行一组公共操作步骤在第一深度感测模式下操作。该组公共操作步骤可以是例如图7所示的表700中的步骤1至步骤m。这将对应于高帧速率长程深度感测模式下的操作。或者，在框660中执行的一组公共操作步骤可以是图7中所示的表700中的步骤m+2至步骤m+n+1。这将对应于高帧速率短程深度感测模式下的操作。
可替代地，如框670中所示，深度传感器100可以通过执行一组公共操作步骤和一个或多个虚拟操作步骤在第二深度感测模式下操作。在图7中所示的表700中，该组公共操作步骤可以是例如步骤1至步骤m，并且虚拟操作步骤可以是步骤0。这将对应于低帧速率长程深度感测模式下的操作。或者，在图7中所示的表700中，在框660中执行的一组公共操作步骤可以是步骤m+2至步骤m+n+1，并且虚拟操作步骤可以是步骤m+n+2。这将对应于低帧速率短程深度感测模式下的操作。
无论深度感测系统300从框650进行到框660还是进行到框670，深度传感器100在指定的深度感测模式下捕获一帧或多帧深度信息。一旦测量完成，方法600返回到框650，其中可以再次指定深度感测操作模式。
图6中所示的操作方法600是有利的，因为它可以通过减少专用于响应于所请求的深度感测操作模式的变化来编程深度传感器100的时间量来提高深度感测效率。根据该方法600，深度传感器可以在多个深度感测模式之间交替，而不会导致重新编程存储器箱所需的时间损失。并且这可以使用深度传感器100中比使用传统技术所需的更少的存储器箱来实现。因此，可以提高深度信息的收集效率和速度。此外，可以使用具有较少存储器箱的较低成本的深度传感器。
图9是用于在高动态范围(HDR)深度感测模式下操作的示例时序图。HDR深度感测模式包括交错在一起的长程测量和短程测量。表5示出了HDR深度感测模式的示例操作序列。在一些实施例中，HDR深度测量的帧速率是5Hz。HDR深度测量的时段在图9中标记为Tfps。该HDR深度感测模式可以使用图6的方法和图7中所示的深度传感器存储器箱编程方案来执行。
HDR深度感测序列从步骤0开始，其中捕获长程强度子帧。然后，在步骤1-4期间，深度传感器100使用第一调制频率捕获四个相位子帧。如图9中所示，每个相位子帧具有TLR-int的曝光时间或积分时间。这些曝光中的每一个曝光之后是用于从传感器传送捕获的图像数据的读出时间Treadout。然后，在步骤5-8处，深度传感器100使用第二调制频率捕获四个相位子帧。
Figure BDA0002208672850000231
Figure BDA0002208672850000241
表5
长程测量之后是步骤9处的眼睛安全延迟，其在图9中标记为Teye_safe_dummy。该延迟可以防止深度传感器100中的眼睛安全电路的触发，使得深度传感器的光源在测量过程中不被关闭。该延迟是虚拟操作步骤的另一个示例，并在下面进一步讨论。如图9中所示，在一些实施例中，构成延迟的虚拟操作步骤可以实现为强度子帧(包括曝光时段和读出时段)，之后是空闲时段。在虚拟操作步骤期间捕获的强度子帧通常不用于计算深度。
接下来，在表5中的步骤10中，深度传感器捕获短程强度子帧。在步骤11-14处遵循四个相位子帧。如图9中所示，这些子帧中的每一个子帧具有TSR_int的曝光时间，接着是读出时段。在步骤10-14期间进行的短程测量之后可以是步骤15处的可选延迟。
表5和图9中所示的HDR深度感测模式具有许多操作步骤，该操作步骤与在此已讨论的其它深度感测模式是公共的。例如，表5中的步骤0-8与高帧速率长程深度测量所使用的步骤相同。因此，HDR深度感测模式的该部分可以通过执行图7中所示的编程方案700中的步骤1至步骤m来实现。类似地，表5中的步骤10-14与高帧速率短程深度测量所使用的步骤相同。因此，它们可以实现为图7中所示的编程方案700中的步骤m+2至步骤m+n+1。
与高帧速率长程模式和高帧速率短程模式相比，HDR深度感测模式之间的差异是表5中的步骤9处的眼睛安全时段和步骤15中的可选延迟。如在此所讨论的，这些差异可以通过适当的虚拟操作帧来实现。例如，眼睛安全时段可以通过图7中所示的编程方案700中的步骤m+1处所示的眼睛安全虚拟操作步骤来实现。并且表5中的步骤15的可选延迟可以使用图7中所示的编程方案700的步骤m+n+2处的虚拟操作来实现。
接着，如图8中所示，可以通过执行图7中所示的编程方案700的步骤1至步骤m+n+2来实现完整的HDR深度感测模式(交错的长程和短程深度测量)。因此，表5的HDR深度感测模式是如何根据图7中所示的公共和虚拟操作步骤实现附加模式的示例。
前述公开描述了用于VR/AR/MR系统的各种有效深度感测技术。尽管具体地针对深度传感器讨论了这些技术，但是相同的技术也可以应用于其它类型的传感器，并且不限于深度传感器。
示例实施例
在一些实施例中，一种方法包括：向传感器提供公共操作步骤的序列，该公共操作步骤的序列包括在限定第一操作模式的第一操作步骤的序列和限定第二操作模式的第二操作步骤的序列二者中；向传感器提供一个或多个虚拟操作步骤，该虚拟操作步骤涉及第一操作模式和第二操作模式之间的差异；通过使传感器至少执行公共操作步骤，在第一操作模式下操作传感器；以及通过使传感器执行公共操作步骤和至少一个虚拟操作步骤，在第二操作模式下操作传感器。
根据这些实施例中的任一个实施例，第一操作模式可包括以第一速率至少执行公共操作步骤，以及第二操作模式可包括以比第一速率更慢的第二速率执行公共操作步骤和至少一个虚拟操作步骤。
根据这些实施例中的任一个实施例，一个或多个虚拟操作步骤中的至少一个虚拟操作步骤可以包括延迟。
根据这些实施例中的任一个实施例，向传感器提供公共操作步骤的序列和一个或多个虚拟操作步骤可以包括将那些操作步骤存储在传感器存储器中。
根据这些实施例中的任一个实施例，在第一和第二操作模式之间切换传感器可能不需要任何附加的动作来将操作步骤存储在传感器存储器中。
根据这些实施例中的任一个实施例，传感器可包括深度传感器。
根据这些实施例中的任一个实施例，深度传感器可包括飞行时间相机。
根据这些实施例中的任一个实施例，第一操作模式可包括具有第一帧速率的深度感测模式，并且第二操作模式可包括具有比第一帧速率更慢的第二帧速率的深度感测模式。
根据这些实施例中的任一个实施例，该方法可以进一步包括来自深度传感器的深度信息提供给虚拟现实、增强现实或混合现实显示系统。
在一些实施例中，一种系统包括：处理器，其被配置为执行包括以下的方法：向传感器提供公共操作步骤的序列，该公共操作步骤的序列包括在限定第一操作模式的第一操作步骤的序列和限定第二操作模式的第二操作步骤的序列二者中；向传感器提供一个或多个虚拟操作步骤，该虚拟操作步骤涉及第一操作模式和第二操作模式之间的差异；通过使传感器至少执行公共操作步骤，在第一操作模式下操作传感器；以及通过使传感器执行公共操作步骤和至少一个虚拟操作步骤，在第二操作模式下操作传感器。
根据这些实施例中的任一个实施例，第一操作模式可包括以第一速率至少执行公共操作步骤，以及第二操作模式可包括以比第一速率更慢的第二速率执行公共操作步骤和至少一个虚拟操作步骤。
根据这些实施例中的任一个实施例，一个或多个虚拟操作步骤中的至少一个虚拟操作步骤可以包括延迟。
根据这些实施例中的任一个实施例，向传感器提供公共操作步骤的序列和一个或多个虚拟操作步骤可以包括将那些操作步骤存储在传感器存储器中。
根据这些实施例中的任一个实施例，在第一和第二操作模式之间切换传感器可能不需要任何附加的动作来将操作步骤存储在传感器存储器中。
根据这些实施例中的任一个实施例，传感器可包括深度传感器。
根据这些实施例中的任一个实施例，深度传感器可以包括飞行时间相机。
根据这些实施例中的任一个实施例，第一操作模式可包括具有第一帧速率的深度感测模式，并且第二操作模式可包括具有比第一帧速率更慢的第二帧速率的深度感测模式。
根据这些实施例中的任一个实施例，该系统可以集成在虚拟现实、增强现实或混合现实显示系统中。
根据这些实施例中的任一个实施例，处理器可以包括状态机。
根据这些实施例中的任一个实施例，该系统可以进一步包括仲裁器，用于接收在第一模式或第二模式下操作传感器的请求，并且仲裁器可被配置为调度和优先化请求。
根据这些实施例中的任一个实施例，该系统可以进一步包括传感器。
在一些实施例中，一种方法包括：接收第一类型的深度测量的第一请求；接收第二类型的深度测量的第二请求；向第一请求分配第一优先级；向第二请求分配第二优先级；以及如果第一优先级高于第二优先级，则使深度传感器首先获得第一类型的深度测量，或者如果第二优先级高于第一优先级，则使深度传感器首先获得第二类型的深度测量。
根据这些实施例中的任一个实施例，可以基于请求第一类型的深度测量的第一应用的优先级来分配第一优先级，并且可以基于请求第二类型的深度测量的第二应用的优先级来分配第二优先级。
在一些实施例中，一种系统包括：仲裁器，其被配置为接收第一类型的深度测量的第一请求和第二类型的深度测量的第二请求，该仲裁器被配置为向第一请求分配第一优先级，并且向第二请求分配第二优先级；以及处理器，其被配置为如果第一优先级高于第二优先级则使深度传感器首先获得第一类型的深度测量，或者如果第二优先级高于第一优先级则使深度传感器首先获得第二类型的深度测量。
根据这些实施例中的任一个实施例，仲裁器可以被配置为基于请求第一类型的深度测量的第一应用的优先级来分配第一优先级，并且基于请求第二类型的深度测量的第二应用的优先级来分配第二优先级。
根据这些实施例中的任一个实施例，该系统可以集成在虚拟、增强或混合现实显示系统中。
在一些实施例中，一种方法包括：执行深度传感器的配置操作，该配置操作包括：将限定第一深度感测操作模式的第一操作步骤的序列存储在深度传感器的存储器中；以及将限定第二深度感测操作模式的第二操作步骤的序列存储在深度传感器的存储器中；根据第一深度感测操作模式接收深度测量的第一请求；响应于第一请求，通过使深度传感器执行第一操作步骤的序列，在第一操作模式下操作深度传感器；根据第二深度感测操作模式接收深度测量的第二请求；以及响应于第二请求，并且不执行附加的配置操作，通过使深度传感器执行第二操作步骤的序列在第二操作模式下操作深度传感器。
根据这些实施例中的任一个实施例，深度传感器可以包括飞行时间相机。
根据这些实施例中的任一个实施例，第一深度感测操作模式可对应于第一距离测量范围，并且第二深度感测操作模式可对应于与第一距离测量范围不同的第二距离测量范围。
根据这些实施例中的任一个实施例，第一深度感测操作模式可对应于第一帧速率，并且第二深度感测操作模式可对应于比第一帧速率更慢的第二帧速率。
根据这些实施例中的任一个实施例，该方法可以进一步包括将来自深度传感器的深度信息提供给虚拟现实、增强现实或混合现实显示系统。
在一些实施例中，一种系统包括：处理器，其被配置为执行包括以下的方法：执行深度传感器的配置操作，该配置操作包括将限定第一深度感测操作模式的第一操作步骤的序列存储在深度传感器的存储器中，以及将限定第二深度感测操作模式的第二操作步骤的序列存储在深度传感器的存储器中；根据第一深度感测操作模式接收深度测量的第一请求；响应于第一请求，通过使深度传感器执行第一操作步骤的序列，在第一操作模式下操作深度传感器；根据第二深度感测操作模式接收深度测量的第二请求；以及响应于第二请求，并且不执行附加配置操作，通过使深度传感器执行第二操作步骤的序列在第二操作模式下操作深度传感器。
根据这些实施例中的任一个实施例，深度传感器可以包括飞行时间相机。
根据这些实施例中的任一个实施例，第一深度感测操作模式可对应于第一距离测量范围，并且第二深度感测操作模式可对应于与第一距离测量范围不同的第二距离测量范围。
根据这些实施例中的任一个实施例，第一深度感测操作模式可对应于第一帧速率，并且第二深度感测操作模式可对应于比第一帧速率更慢的第二帧速率。
根据这些实施例中的任一个实施例，该系统可以集成在虚拟、增强或混合现实显示系统中。
在一些实施例中，非暂态计算机可读介质包括代码，该代码当由计算设备读取时，使计算设备执行包括以下步骤的方法：向传感器提供公共操作步骤的序列，该公共操作步骤的序列包括在限定第一操作模式的第一操作步骤的序列和限定第二操作模式的第二操作步骤的序列二者中；向传感器提供一个或多个虚拟操作步骤，该虚拟操作步骤涉及第一操作模式和第二操作模式之间的差异；通过使传感器至少执行公共操作步骤，在第一操作模式下操作传感器；以及通过使传感器执行公共操作步骤和至少一个虚拟操作步骤，在第二操作模式下操作传感器。
根据这些实施例中的任一个实施例，第一操作模式可包括以第一速率至少执行公共操作步骤，以及第二操作模式可包括以比第一速率更慢的第二速率执行公共操作步骤和至少一个虚拟操作步骤。
根据这些实施例中的任一个实施例，一个或多个虚拟操作步骤中的至少一个虚拟操作步骤可以包括延迟。
根据这些实施例中的任一个实施例，向传感器提供公共操作步骤的序列和一个或多个虚拟操作步骤可包括将那些操作步骤存储在传感器存储器中。
根据这些实施例中的任一个实施例，在第一和第二操作模式之间切换传感器可能不需要任何附加的动作来将操作步骤存储在传感器存储器中。
根据这些实施例中的任一个实施例，传感器可包括深度传感器。
根据这些实施例中的任一个实施例，深度传感器可以包括飞行时间相机。
根据这些实施例中的任一个实施例，第一操作模式可包括具有第一帧速率的深度感测模式，并且第二操作模式可包括具有比第一帧速率更慢的第二帧速率的深度感测模式。
根据这些实施例中的任一个实施例，计算机可读介质可以包括代码，该代码进一步使计算设备将来自深度传感器的深度信息提供给虚拟现实、增强现实或混合现实显示系统。
在一些实施例中，非暂态计算机可读介质包括代码，该代码当由计算设备读取时，使计算设备执行包括以下操作的方法：接收第一类型的深度测量的第一请求；接收第二类型的深度测量的第二请求；向第一请求分配第一优先级；向第二请求分配第二优先级；以及如果第一优先级高于第二优先级，则使深度传感器首先获得第一类型的深度测量，或者如果第二优先级高于第一优先级，则使深度传感器首先获得第二类型的深度测量。
根据这些实施例中的任一个实施例，可以基于请求第一类型的深度测量的第一应用的优先级来分配第一优先级，并且可基于请求第二类型的深度测量的第二应用的优先级来分配第二优先级。
在一些实施例中，非暂态计算机可读介质包括代码，该代码当由计算设备读取时，使计算设备执行用于操作深度传感器的方法，该方法包括：执行深度传感器的配置操作，该配置操作包括：将限定第一深度感测操作模式的第一操作步骤的序列存储在深度传感器的存储器中，以及将限定第二深度感测操作模式的第二操作步骤的序列存储在深度传感器的存储器中；根据第一深度感测操作模式接收深度测量的第一请求；响应于第一请求，通过使深度传感器执行第一操作步骤的序列，在第一操作模式下操作深度传感器；根据第二深度感测操作模式接收深度测量的第二请求；以及响应于第二请求，并且不执行附加配置操作，通过使深度传感器执行第二操作步骤的序列在第二操作模式下操作深度传感器。
根据这些实施例中的任一个实施例，深度传感器可以包括飞行时间相机。
根据这些实施例中的任一个实施例，第一深度感测操作模式可对应于第一距离测量范围，并且第二深度感测操作模式可对应于与第一距离测量范围不同的第二距离测量范围。
根据这些实施例中的任一个实施例，第一深度感测操作模式可对应于第一帧速率，并且第二深度感测操作模式可对应于比第一帧速率更慢的第二帧速率。
根据这些实施例中的任一个实施例，计算机可读介质可以进一步包括代码，该代码使计算设备将来自深度传感器的深度信息提供给虚拟现实、增强现实或混合现实显示系统。
其它考虑
出于概述本公开的目的，在此已经描述了本发明的某些方面、优点和特征。应该理解，根据本发明的任何特定实施例，不一定能够实现所有这些优点。因此，本发明可以以实现或优化在此所教导的一个优点或一组优点的方式体现或执行，而不一定实现在此可能教导或建议的其它优点。
已经结合附图描述了实施例。然而，应该理解的是，附图未按比例绘制。距离、角度等仅仅是说明性的，并不一定与所示设备的实际尺寸和布局具有精确的关系。另外，已经在细节层次上描述了前述实施例，以允许本领域普通技术人员制造和使用在此描述的设备、系统、方法等。可以有各种各样的变化。可以改变、添加、移除或重新布置组件、元件和/或步骤。
可以有利地使用例如计算机软件、硬件、固件或软件、硬件和固件的任何组合来至少部分地实现在此描述的设备和方法。软件模块可以包括存储在计算机存储器中的计算机可执行代码，用于执行在此描述的功能。在一些实施例中，计算机可执行代码由一个或多个通用计算机执行。然而，根据本公开，技术人员将理解，可以使用要在通用计算机上执行的软件来实现的任何模块也可以使用硬件、软件或固件的不同组合来实现。例如，此类模块可以使用集成电路的组合完全以硬件实现。可替代地或另外地，此类模块可以完全或部分地使用被设计为执行在此描述的特定功能的专用计算机而不是通用计算机来实现。另外，在描述了或者可以至少部分地由计算机软件执行的方法的情况下，应当理解，此类方法可以在非暂态计算机可读介质(例如，光盘(诸如CD或DVD)、硬盘驱动器、闪存、磁盘等)上提供，该非暂态计算机可读介质当由计算机或其它处理设备读取时，使其执行该方法。
虽然已经明确地描述了某些实施例，但是基于本公开，其它实施例对于本领域普通技术人员将变得显而易见。

Claims (21)

1.一种用于操作传感器的方法，所述方法包括：
向所述传感器提供公共操作步骤的序列，所述公共操作步骤的序列包括在限定第一操作模式的第一操作步骤的序列和限定第二操作模式的第二操作步骤的序列二者中；
向所述传感器提供一个或多个虚拟操作步骤，所述虚拟操作步骤涉及所述第一操作模式和所述第二操作模式之间的差异；
通过使所述传感器至少执行所述公共操作步骤，在所述第一操作模式下操作所述传感器；以及
通过使所述传感器执行所述公共操作步骤和至少一个虚拟操作步骤，在所述第二操作模式下操作所述传感器。
2.根据权利要求1所述的方法，其中，所述第一操作模式包括以第一速率至少执行所述公共操作步骤，以及其中，所述第二操作模式包括以比所述第一速率更慢的第二速率执行所述公共操作步骤和至少一个虚拟操作步骤。
3.根据权利要求2所述的方法，其中，所述一个或多个虚拟操作步骤中的至少一个虚拟操作步骤包括延迟。
4.根据权利要求1所述的方法，其中，向所述传感器提供所述公共操作步骤的序列和所述一个或多个虚拟操作步骤包括将那些操作步骤存储在传感器存储器中。
5.根据权利要求4所述的方法，其中，在所述第一操作模式和所述第二操作模式之间切换所述传感器不需要任何附加的动作来将操作步骤存储在所述传感器存储器中。
6.根据权利要求1所述的方法，其中，所述传感器包括深度传感器。
7.根据权利要求6所述的方法，其中，所述深度传感器包括飞行时间相机。
8.根据权利要求6所述的方法，其中，所述第一操作模式包括具有第一帧速率的深度感测模式，以及所述第二操作模式包括具有比所述第一帧速率更慢的第二帧速率的深度感测模式。
9.根据权利要求6所述的方法，还包括将来自所述深度传感器的深度信息提供给虚拟现实、增强现实或混合现实显示系统。
10.一种用于操作传感器的系统，所述系统包括：
处理器，其被配置为执行包括以下的方法：
向所述传感器提供公共操作步骤的序列，所述公共操作步骤的序列包括在限定第一操作模式的第一操作步骤的序列和限定第二操作模式的第二操作步骤的序列二者中；
向所述传感器提供一个或多个虚拟操作步骤，所述虚拟操作步骤涉及所述第一操作模式和所述第二操作模式之间的差异；
通过使所述传感器至少执行所述公共操作步骤，在所述第一操作模式下操作所述传感器；以及
通过使所述传感器执行所述公共操作步骤和至少一个虚拟操作步骤，在所述第二操作模式下操作所述传感器。
11.根据权利要求10所述的系统，其中，所述第一操作模式包括以第一速率至少执行所述公共操作步骤，以及其中，所述第二操作模式包括以比所述第一速率更慢的第二速率执行所述公共操作步骤和至少一个虚拟操作步骤。
12.根据权利要求11所述的系统，其中，所述一个或多个虚拟操作步骤中的至少一个虚拟操作步骤包括延迟。
13.根据权利要求10所述的系统，其中，向所述传感器提供所述公共操作步骤的序列和所述一个或多个虚拟操作步骤包括将那些操作步骤存储在传感器存储器中。
14.根据权利要求13所述的系统，其中，在所述第一操作模式和所述第二操作模式之间切换所述传感器不需要任何附加的动作来将操作步骤存储在所述传感器存储器中。
15.根据权利要求10所述的系统，其中，所述传感器包括深度传感器。
16.根据权利要求15所述的系统，其中，所述深度传感器包括飞行时间相机。
17.根据权利要求15所述的系统，其中，所述第一操作模式包括具有第一帧速率的深度感测模式，以及所述第二操作模式包括具有比所述第一帧速率更慢的第二帧速率的深度感测模式。
18.根据权利要求15所述的系统，其中，所述系统集成在虚拟现实、增强现实或混合现实显示系统中。
19.根据权利要求10所述的系统，其中，所述处理器包括状态机。
20.根据权利要求10所述的系统，还包括仲裁器，用于接收在所述第一操作模式或所述第二操作模式下操作所述传感器的请求，其中，所述仲裁器被配置为调度和优先化所述请求。
21.根据权利要求10所述的系统，还包括传感器。
CN201880019671.9A 2017-03-21 2018-03-19 虚拟、增强和混合现实系统的深度感测技术 Active CN110431841B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110857359.0A CN113568508A (zh) 2017-03-21 2018-03-19 虚拟、增强和混合现实系统的深度感测技术

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762474503P 2017-03-21 2017-03-21
US62/474,503 2017-03-21
PCT/US2018/023179 WO2018175344A1 (en) 2017-03-21 2018-03-19 Depth sensing techniques for virtual, augmented, and mixed reality systems

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110857359.0A Division CN113568508A (zh) 2017-03-21 2018-03-19 虚拟、增强和混合现实系统的深度感测技术

Publications (2)

Publication Number Publication Date
CN110431841A CN110431841A (zh) 2019-11-08
CN110431841B true CN110431841B (zh) 2021-08-17

Family

ID=63583181

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110857359.0A Pending CN113568508A (zh) 2017-03-21 2018-03-19 虚拟、增强和混合现实系统的深度感测技术
CN201880019671.9A Active CN110431841B (zh) 2017-03-21 2018-03-19 虚拟、增强和混合现实系统的深度感测技术

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110857359.0A Pending CN113568508A (zh) 2017-03-21 2018-03-19 虚拟、增强和混合现实系统的深度感测技术

Country Status (9)

Country Link
US (4) US10455153B2 (zh)
EP (2) EP3603055B1 (zh)
JP (4) JP7198766B2 (zh)
KR (2) KR102527329B1 (zh)
CN (2) CN113568508A (zh)
AU (1) AU2018237067B2 (zh)
CA (1) CA3055572C (zh)
IL (3) IL269008B2 (zh)
WO (1) WO2018175344A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2018237067B2 (en) 2017-03-21 2022-11-10 Magic Leap, Inc. Depth sensing techniques for virtual, augmented, and mixed reality systems
US11619814B1 (en) * 2018-06-04 2023-04-04 Meta Platforms Technologies, Llc Apparatus, system, and method for improving digital head-mounted displays
US11902677B2 (en) 2018-11-12 2024-02-13 Magic Leap, Inc. Patch tracking image sensor
WO2020101895A1 (en) * 2018-11-12 2020-05-22 Magic Leap, Inc. Event-based camera with high-resolution frame output
US10861165B2 (en) * 2019-01-11 2020-12-08 Microsoft Technology Licensing, Llc Subject tracking with aliased time-of-flight data
CN113614783A (zh) 2019-01-25 2021-11-05 奇跃公司 使用具有不同曝光时间的图像的眼睛跟踪
CN113711587A (zh) 2019-02-07 2021-11-26 奇跃公司 具有无源深度提取的轻型交叉显示设备
US11315288B2 (en) 2019-05-20 2022-04-26 Magic Leap, Inc. Systems and techniques for estimating eye pose
EP3994494B1 (en) * 2019-07-05 2023-10-25 Sony Semiconductor Solutions Corporation Time-of-flight sensor and system
JP7175872B2 (ja) * 2019-11-14 2022-11-21 株式会社日立エルジーデータストレージ 測距装置
US20210356597A1 (en) * 2020-05-15 2021-11-18 Analog Devices International Unlimited Company Continuous wave time of flight system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4628312A (en) * 1983-10-19 1986-12-09 Vega Precision Laboratories, Inc. Decoding apparatus and method for a position coded pulse communication system
CN103379293A (zh) * 2012-04-11 2013-10-30 佳能株式会社 摄像设备和摄像设备的控制方法
CN105357511A (zh) * 2015-12-08 2016-02-24 上海图漾信息科技有限公司 深度数据检测系统
CN105408938A (zh) * 2013-02-28 2016-03-16 谷歌技术控股有限责任公司 用于2d/3d空间特征处理的系统
WO2016168783A1 (en) * 2015-04-17 2016-10-20 The Lightco Inc. Methods and apparatus for filtering image data to reduce noise and/or generating an image
CN106464857A (zh) * 2014-03-26 2017-02-22 驼鹿科技公司 紧凑型3d深度捕获系统

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0553568A (ja) 1991-08-22 1993-03-05 Seiko Epson Corp 画像処理装置
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
JPH1153568A (ja) * 1997-08-07 1999-02-26 Matsushita Electric Ind Co Ltd 画像処理装置
JP2001337166A (ja) 2000-05-26 2001-12-07 Minolta Co Ltd ３次元入力方法および３次元入力装置
JP2004157061A (ja) 2002-11-08 2004-06-03 Nikon-Trimble Co Ltd 距離測定装置
USD514570S1 (en) 2004-06-24 2006-02-07 Microsoft Corporation Region of a fingerprint scanning device with an illuminated ring
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
JP2008183049A (ja) 2007-01-26 2008-08-14 Matsushita Electric Ind Co Ltd 撮像装置、カプセル型内視カメラ
JP4936528B2 (ja) 2007-03-28 2012-05-23 富士フイルム株式会社 カプセル内視鏡システム、およびカプセル内視鏡システムの作動方法
US7852461B2 (en) * 2007-11-15 2010-12-14 Microsoft International Holdings B.V. Dual mode depth imaging
JP4826615B2 (ja) 2008-09-30 2011-11-30 パナソニック電工株式会社 車両用周辺監視装置
JP2010230366A (ja) 2009-03-26 2010-10-14 Denso Corp 障害物検出装置
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US8681255B2 (en) * 2010-09-28 2014-03-25 Microsoft Corporation Integrated low power depth camera and projection device
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US9348143B2 (en) 2010-12-24 2016-05-24 Magic Leap, Inc. Ergonomic head mounted display device and optical system
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
JP5330431B2 (ja) * 2011-03-11 2013-10-30 富士フイルム株式会社 超音波プローブおよび超音波診断装置
EP3462286A1 (en) 2011-05-06 2019-04-03 Magic Leap, Inc. Massive simultaneous remote digital presence world
WO2013049861A1 (en) 2011-09-29 2013-04-04 Magic Leap, Inc. Tactile glove for human-computer interaction
JP6110866B2 (ja) 2011-10-28 2017-04-05 マジック リープ， インコーポレイテッド 拡張現実および仮想現実のためのシステムおよび方法
KR101869277B1 (ko) * 2011-11-17 2018-06-22 삼성전자주식회사 화소 회로 및 이를 포함하는 깊이 센서
AU2012341069B2 (en) 2011-11-23 2018-04-05 Magic Leap, Inc. Three dimensional virtual and augmented reality display system
JP2013123172A (ja) 2011-12-12 2013-06-20 Nikon Corp 撮像装置およびプログラム
RU2015156050A (ru) 2012-04-05 2019-01-18 Мэджик Лип, Инк. Устройство формирования изображения с широким полем обзора (fov) с возможностью активного наведения взора на цель
EP2859403B1 (en) 2012-06-11 2022-10-19 Magic Leap, Inc. Multiple depth plane three-dimensional display using a wave guide reflector array projector
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
EP2895910A4 (en) 2012-09-11 2016-04-20 Magic Leap Inc ERGONOMIC HEAD-MOUNTED DISPLAY DEVICE AND OPTICAL SYSTEM
US9432916B2 (en) 2012-12-27 2016-08-30 Intel Corporation Situation aware sensor power management
US10151875B2 (en) 2013-01-15 2018-12-11 Magic Leap, Inc. Ultra-high resolution scanning fiber display
US9407837B2 (en) * 2013-02-28 2016-08-02 Google Inc. Depth sensor using modulated light projector and image sensor with color and IR sensing
CN105188516B (zh) * 2013-03-11 2017-12-22 奇跃公司 用于增强和虚拟现实的系统与方法
CN108427504B (zh) 2013-03-15 2021-06-11 奇跃公司 显示系统和方法
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10356430B2 (en) 2013-07-12 2019-07-16 Samsung Electronics Co., Ltd. Interlayer video decoding method and apparatus using view synthesis prediction and interlayer video encoding method and apparatus using view synthesis prediction
KR102341870B1 (ko) 2013-10-16 2021-12-20 매직 립, 인코포레이티드 조절가능한 동공간 거리를 가지는 가상 또는 증강 현실 헤드셋들
CN107315249B (zh) 2013-11-27 2021-08-17 奇跃公司 虚拟和增强现实系统与方法
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
US10317690B2 (en) 2014-01-31 2019-06-11 Magic Leap, Inc. Multi-focal display system and method
AU2015210704B2 (en) 2014-01-31 2019-05-30 Magic Leap, Inc. Multi-focal display system and method
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
AU2015297036B2 (en) 2014-05-09 2017-09-28 Google Llc Systems and methods for discerning eye signals and continuous biometric identification
USD759657S1 (en) 2014-05-19 2016-06-21 Microsoft Corporation Connector with illumination region
NZ764905A (en) 2014-05-30 2022-05-27 Magic Leap Inc Methods and systems for generating virtual content display with a virtual or augmented reality apparatus
USD752529S1 (en) 2014-06-09 2016-03-29 Comcast Cable Communications, Llc Electronic housing with illuminated region
US20160140760A1 (en) * 2014-11-13 2016-05-19 Upton Beall Bowden Adapting a display on a transparent electronic display
US9552816B2 (en) * 2014-12-19 2017-01-24 Amazon Technologies, Inc. Application focus in speech-based systems
JP2016213786A (ja) 2015-05-13 2016-12-15 パナソニックＩｐマネジメント株式会社 カメラ装置
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
US9683834B2 (en) * 2015-05-27 2017-06-20 Intel Corporation Adaptable depth sensing system
CN107533136B (zh) 2015-06-24 2020-08-25 株式会社村田制作所 距离传感器
US10341633B2 (en) * 2015-11-20 2019-07-02 Qualcomm Incorporated Systems and methods for correcting erroneous depth information
US10477157B1 (en) * 2016-03-02 2019-11-12 Meta View, Inc. Apparatuses, methods and systems for a sensor array adapted for vision computing
USD805734S1 (en) 2016-03-04 2017-12-26 Nike, Inc. Shirt
USD794288S1 (en) 2016-03-11 2017-08-15 Nike, Inc. Shoe with illuminable sole light sequence
US10110840B2 (en) * 2016-10-25 2018-10-23 Semiconductor Components Industries, Llc Image sensor pixels with overflow capabilities
AU2018237067B2 (en) 2017-03-21 2022-11-10 Magic Leap, Inc. Depth sensing techniques for virtual, augmented, and mixed reality systems

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4628312A (en) * 1983-10-19 1986-12-09 Vega Precision Laboratories, Inc. Decoding apparatus and method for a position coded pulse communication system
CN103379293A (zh) * 2012-04-11 2013-10-30 佳能株式会社 摄像设备和摄像设备的控制方法
CN105408938A (zh) * 2013-02-28 2016-03-16 谷歌技术控股有限责任公司 用于2d/3d空间特征处理的系统
CN106464857A (zh) * 2014-03-26 2017-02-22 驼鹿科技公司 紧凑型3d深度捕获系统
WO2016168783A1 (en) * 2015-04-17 2016-10-20 The Lightco Inc. Methods and apparatus for filtering image data to reduce noise and/or generating an image
CN105357511A (zh) * 2015-12-08 2016-02-24 上海图漾信息科技有限公司 深度数据检测系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《Efficient Architecture for Soft-Input Soft-Output Sphere Detection With Perfect Node Enumeration》;ESTHER P.ADEVA ET AL;《IEEE TRANSACTIONS ON VERY LARGE SCALE INTEGRATION(VLSI)SYSTEMS》;20150608;第1-4页 *

Also Published As

Publication number Publication date
KR102527329B1 (ko) 2023-05-02
JP7198850B2 (ja) 2023-01-04
IL302172B1 (en) 2023-12-01
CN113568508A (zh) 2021-10-29
EP3603055B1 (en) 2022-03-02
KR102493992B1 (ko) 2023-01-30
JP2020514735A (ja) 2020-05-21
CA3055572A1 (en) 2018-09-27
KR20230019265A (ko) 2023-02-07
US20220201210A1 (en) 2022-06-23
US11778318B2 (en) 2023-10-03
US10455153B2 (en) 2019-10-22
JP2023018033A (ja) 2023-02-07
AU2018237067B2 (en) 2022-11-10
IL308454A (en) 2024-01-01
US11303809B2 (en) 2022-04-12
JP2021099367A (ja) 2021-07-01
JP2024020489A (ja) 2024-02-14
IL269008A (en) 2019-10-31
WO2018175344A1 (en) 2018-09-27
AU2018237067A1 (en) 2019-09-19
EP4020982A2 (en) 2022-06-29
IL302172B2 (en) 2024-04-01
IL302172A (en) 2023-06-01
CA3055572C (en) 2023-09-19
EP3603055A1 (en) 2020-02-05
IL269008B1 (en) 2023-06-01
EP4020982A3 (en) 2022-09-21
EP3603055A4 (en) 2020-09-09
US20200014849A1 (en) 2020-01-09
US20230396881A1 (en) 2023-12-07
JP7198766B2 (ja) 2023-01-04
US20180278843A1 (en) 2018-09-27
IL269008B2 (en) 2023-10-01
CN110431841A (zh) 2019-11-08
KR20190127870A (ko) 2019-11-13

Similar Documents

Publication Publication Date Title
CN110431841B (zh) 虚拟、增强和混合现实系统的深度感测技术
US11778159B2 (en) Augmented reality with motion sensing
CN111052727B (zh) 电子装置及其控制方法
CN105190426B (zh) 飞行时间传感器装仓
CN112189147B (zh) 一种飞行时间ToF相机和一种ToF方法
KR20140004592A (ko) 3d 깊이 정보를 기반으로 한 이미지 블러
CN110572635A (zh) 一种用于手持控制设备追踪定位的方法、设备与系统
CN110837295A (zh) 一种手持控制设备及其追踪定位的方法、设备与系统
KR20240039599A (ko) 예측 관점 보정

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant