CN106104300B - 深度感测设备中的定时脉冲 - Google Patents

深度感测设备中的定时脉冲 Download PDF

Info

Publication number
CN106104300B
CN106104300B CN201580013759.6A CN201580013759A CN106104300B CN 106104300 B CN106104300 B CN 106104300B CN 201580013759 A CN201580013759 A CN 201580013759A CN 106104300 B CN106104300 B CN 106104300B
Authority
CN
China
Prior art keywords
equipment
depth sense
depth
sense equipment
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580013759.6A
Other languages
English (en)
Other versions
CN106104300A (zh
Inventor
古尔·阿里·比坦
约纳坦·萨梅特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mantis Vision Ltd China
Original Assignee
MANTISVISION Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MANTISVISION Ltd filed Critical MANTISVISION Ltd
Publication of CN106104300A publication Critical patent/CN106104300A/zh
Application granted granted Critical
Publication of CN106104300B publication Critical patent/CN106104300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

按照当前公开的主题的一个方面提供了操作深度感测设备的方法。方法包括获取在第一和第二深度感测设备的每个上的当前脉冲定时；将独占的脉冲时隙分配给所述第一和第二设备的每个，使得在对应于脉冲时隙中的任何一个的帧的部分期间所述第一设备和所述第二设备中的仅相应的一个发射脉冲。

Description

深度感测设备中的定时脉冲
领域
本公开涉及深度感测设备，更具体地，本公开的示例涉及使用脉冲照明的深度感测设备。
背景
已知的是对各种应用使用深度感测设备。深度感测应用的一个示例是3D建模，其中真实生活对象利用深度感测设备被扫描，且深度信息由计算机使用以构造真实生活对象的计算机化的三维模型。还已知的是，使用有源深度感测设备以用于捕获关于场景的深度信息。有源深度感测设备将光传输或发射到场景上，并且传感器用于捕获投射的光的反射部分。解码器解码所接收的信号并提取深度信息。通常单一采样仅捕获对象的一部分。例如，如通过引入并入本文的两个美国专利第8,090,194号和第8,538,166号中所描述的一个深度感测设备，其具有一定的视场(FOV)且每个由深度感测设备捕获的帧覆盖设备的FOV。几个帧可相互组合(配准)，以获取成像对象的延伸的覆盖范围。
同时使用两个或更多个深度感测设备(例如，两个、三个、n个3D照相机)具有提供更宽广的覆盖面积的优势，同时避免对在不同时间被捕获的帧的动态配准的需要。它还可缩短扫描时间。两个人一起拍摄3D场景的也可以是有趣的社会事业。然而，许多深度感测设备在场景处拍摄空间或时间编码的光的快速脉冲，并且处理投射的光的反射部分以提取深度信息，并且当两个(或更多个设备)有源深度感测设备同时操作时，来自两个设备的脉冲能够适时重叠并互相破坏。在结构光投影的领域中，这类破坏有时称作“遮蔽”。
关于Baer的美国专利申请公布第2013/0120636号公开了用于以如照相机或移动电子设备的图像捕获设备来捕获图像的方法。方法包括初始化图像捕获设备和至少一个第二设备之间的主从关系。一旦主从关系被初始化，远程地激活至少一个第二设备的至少一个光源中的一个。当光源被激活时，捕获由图像捕获设备的至少一个光源照明的场景的测试图像。随后，分析测试图像以确定是否场景的照明应被调整且如果场景的照明待被调整，则向至少一个第二设备提供包括位置指令、强度水平或定时数据中的至少一个的控制信号。
概述
根据当前公开的主题的一个方面，公开了一种操作深度感测设备的方法。根据当前公开的主题的示例，方法可包括获取在第一深度感测设备和第二深度感测设备的每个上的当前脉冲定时；以及将独占的脉冲时隙分配给所述第一设备和第二设备中的每个，使得在对应于脉冲时隙中的任何一个的帧的部分期间所述第一设备和所述第二设备中的仅相应的一个发射脉冲。
在一些示例中，可在所分配的时隙之间内分配缓冲区，其中缓冲区至少与不确定参数关联。
在另外的示例中，分配可包括在所述第一设备和第二设备的每个中同步与设置脉冲定时关联的时钟发生器。
还进一步通过示例的方式，分配可包括同步所述第一设备和第二设备之间的帧定时，和设置在所述第一设备和第二设备的每个上的脉冲定时作为从帧开始的偏移。
还进一步通过示例的方式，在帧期间的第一时隙被基本上设置在帧的开始点处，并且每个后续的时隙在等于所有先前时隙加上任何两个时隙之间的缓冲区的持续时间的点处开始。
还进一步通过示例的方式，第一设备可用作主控设备，以及第二设备可以是从动设备。独占地分配可在主控设备上被执行，并且从动设备可接收从主控发送的指令，以根据被分配至从动设备的脉冲时隙设置脉冲定时。
根据当前公开的主题的示例，方法还可包括生成用于第一设备或第二设备的位置指令。位置指令可基于用于第一设备和第二设备的目标组合覆盖范围，并且基于其可确定用于第一设备和第二设备中的至少一个的各自的目标位置。位置指令然后可基于目标位置被提供给第一设备或第二设备中的至少一个。在一些示例中，确定目标组合覆盖范围可与第一设备和第二设备的当前位置关联。
在一些示例中，在第一设备和第二设备的每个上的曝光持续时间可以与各自的脉冲时隙同步。
在还另外的示例中，第一设备和第二设备可被操作，导致在帧(例如，在第一设备上的帧)的持续时间期间的各自多个曝光，其中在每个曝光中，第一设备或第二设备中的相应一个独占地发射脉冲并独占地采集投射的脉冲的反射部分。
在当前公开的主题的另一方面中，提供了深度感测系统。深度感测系统可包括第一深度感测设备和第二深度感测设备。第一深度感测设备和第二深度感测设备中的每一个被配置为在帧的独占分配的部分期间发射脉冲。
在当前公开的主题的又一方面中，提供了深度感测设备。根据当前公开的主题的示例，深度感测设备可包括投影仪和处理器。投影仪可能够发射光的脉冲。处理器可被配置为接收指令，以根据被独占地分配给深度感测设备的脉冲时隙调整在所述投影仪中的脉冲定时，其中被独占地分配给设备的时隙与被独占地分配给至少一个其他深度感测设备的至少又一个时隙进行协调，使得在帧期间，深度感测设备被配置为在深度感测设备的帧的独占地分配的部分期间发射脉冲，并且至少一个其他设备也被配置为在帧的不同的独占地分配的部分期间发射脉冲。
在当前公开的主题的另一方面中，提供了操作多个深度感测设备的方法。根据当前公开的主题的示例，方法可包括：设置从动深度感测设备的帧速率，使得其不同于主控设备的帧速率；检测帧，其中产生由从动设备投射的图样和由主控深度感测设备投射的图样之间的完全重叠；以及在不同于主控设备的帧速率的帧速率处操作从动设备，直至达到主控上和从动设备上的帧的定时之间的预定义的间隔，并且将从动设备的帧速率设置为等于主控设备上的帧速率的帧速率。
附图简要说明
为了理解本发明和了解其可如何在实践中实行，现在将参考附图且仅通过非限制性示例的方式来描述本发明的某些实施方案，其中：
图1是具有被布置在智能手机背面侧上的深度感测设备的智能手机的图形说明；
图2是具有被布置在智能手机正面侧上的深度感测设备的智能手机的图形说明；
图3是具有被布置在平板电脑的背面侧上的深度感测设备的平板电脑的图形说明，其全部是当前公开的主题的示例；
图4是根据当前公开的主题的示例的专用深度感测设备的图形说明；
图5是根据当前公开的主题的示例的深度感测设备的主要组件的框图说明；
图6是根据当前公开的主题的示例的深度感测设备的配置示例的说明，其包括通用计算机硬件且其中深度感测块被包含和集成到设备中。
图7是根据当前公开的主题的示例的深度感测设备的一个可能实现的示例的简化框图，其包括移动深度感测设备和云平台，该云平台包括允许处理由移动深度感测设备提供的数据的资源，可能与来自其他源的数据组合，包括来自其他深度感测设备；
图8是根据当前公开的主题的示例的具有协调的脉冲定时的多个深度感测设备的图形说明；
图9A示出了根据当前公开的主题的示例的具有每个设备的FOV的图8的多设备协调深度感测组；
图9B示出了根据当前公开的主题的示例的在固定位置处的图8的多设备协调深度感测组；
图10示出了根据当前公开的主题的示例的通过组合关于投掷气球的人被定位的、在单帧期间由多设备协调深度感测组中的两个成员的每个生成的点云所生成的点云；
图11示出了根据当前公开的主题的示例通过组合由单个深度感测设备在多个帧上生成的点云所生成的点云，其中深度感测设备用于扫描投掷沙滩球的人；
图12示出了在多设备协调深度感测组被建立之前且在协调的脉冲定时方案被应用于设备之前的多个深度感测设备上的曝光定时的图表；
图13示出了根据当前公开的主题的示例在协调的脉冲定时方案被应用于设备之后作为多设备协调深度感测组的部分的多个深度感测设备的曝光时间的图表；
图14A示出了被连接且放置在共同图表上的图13中所示的曝光定时的图表；
图14B示出了按照当前公开的主题的示例实施协调的脉冲定时方案的多设备深度感测组的曝光定时方案，其中设备使用滚动快门传感器；
图15是根据当前公开的主题的示例在多个设备上协调脉冲定时以形成多设备协调深度感测组的方法的流程图说明；
图16是按照当前公开的主题的示例根据基于主从关系的控制模型和设置的一个可能的实现的深度感测设备中的协调脉冲定时的方法的流程图说明；
图17示出了按照当前公开的主题的示例的基本操作的示例，该基本操作可以是对于建立协调的脉冲时刻方案所需且实施作为建立协调的脉冲时刻方案的一部分；
图18是根据当前公开的主题的示例同步多个3D成像设备的方法的流程图说明；以及
图19示出了可能的GUI截屏，该GUI截屏与多设备协调深度感测组中的协调的脉冲定时方案的设置和实施关联。
将要理解的是，为了说明的简洁和清楚，附图中所示的元件并不一定按比例绘制。例如，出于清楚的目的，一些元件的尺寸可能相对其它元件被放大。此外，在认为适当的地方，参考数字在附图之间可能被重复以指示相应的元件或类似的元件。
总体描述
当前公开的主题的许多功能组件可以以各种形式实施，例如，作为包括定制VLSI电路或门阵列等的硬件电路、作为如FPGA等的可编程硬件设备或作为被存储在无形计算机可读介质上并通过各种处理器可执行的软件程序代码以及其任意组合。当前公开的主题的特定组件可由软件代码的一个具体片段或由多个片段形成，其可被连接在一起并根据由于各自组件的当前公开的限制共同作用或运转。例如，组件可被分布在几个代码片段上，如对象、程序和功能，并且可产生于几个程序或程序文件，其一起运行以提供当前公开的组件。
以类似的方式，当前公开的(多个)组件可体现在操作数据或可由当前公开的(多个)组件使用的操作数据中。通过示例的方式，这样的操作数据可被存储在有形计算机可读介质上。操作数据可以是单个数据集，或其可以是被存储在不同位置处、不同网络节点上或不同存储设备上的数据的聚合。
根据本申请的主题的方法或装置可具有以上或以下描述的不同方面的特征或以其任意组合的它们的等效物，其也可与以下呈现的详细描述中所描述的方法或装置的任一个或多个特征或它们的等效物组合。
在下面详细的描述中，阐述了许多具体细节以便提供当前公开的主题的彻底理解。然而，本领域技术人员将理解的是，可在实践当前公开的主题而无需这些特定细节。在其他情况下，公知的方法、程序和组件没有被详细描述以免混淆当前公开的主题。
除非特别声明，否则如在下列讨论中明显的是，应当理解，在整个说明书讨论中，各种功能术语指计算机或计算设备或类似的电子计算设备的动作和/或处理，其操控被表示为计算设备的寄存器和/或存储器内的物理(诸如电子)量的数据和/或将其转换成类似表示为在该计算设备的存储器、寄存器或其他此类有形信息存储、传输或显示设备内的物理量的其它数据。
以下所提供的是图像处理领域中和数字视频内容系统和数字视频处理的领域中的传统术语的列表。对于以下术语中的每个，按照本领域中的术语的传统意义的每个提供简短定义。以下提供的术语在本领域中已知，并且仅出于方便的目的，提供下面的定义作为非限制性示例。因此，除非另有说明，权利要求中的相应术语的解释不限于以下的定义，并且用在权利要求中的术语应被给以它们最广义的合理解释。
当前公开的主题的示例涉及深度感测设备，并且涉及设置深度感测设备中的脉冲定时的方法。还公开了系统和方法，该系统包括形成多设备协调深度感测组的多个深度感测设备，该方法是在多设备调节的深度感测组中调节脉冲定时。特别地，当前公开的主题的示例涉及深度感测技术和依靠脉冲编码的光的投影的设备。协调的脉冲定时方案被生成以用于多设备协调深度感测组中的设备，以防止组的任何成员被组的其他成员的脉冲的投影干扰。此外，脉冲定时方案能够在多设备协调深度感测组中的多个设备上实现紧凑的脉冲序列，其能够实现准确和运动容错的多视角深度提取。在另外其他的示例中，脉冲定时方案基于协调的脉冲，使得无干扰和协调的脉冲方案在每帧重复。在一些情况下，帧的定时可在参与协调的深度感测会话的多个设备上同步。
当前公开的主题的示例也考虑向多设备协调深度感测组的成员提供定位指令。例如，定位指令可用于获取场景内的对象的延伸的覆盖范围。当前公开的主题的其他方面涉及各种用户接口特征，其向深度感测设备的用户提供关于协调的深度感测会话和/或关于协调多设备深度感测组和/或关于组的成员的信息。在当前公开的主题的另外示例中，用户接口控制被提供以用于使深度感测设备的用户能够与深度感测设备和/或多设备协调深度感测组的其他成员交互和/或能够控制协作的深度感测会话的各种特征。
如以上所述，当前公开的主题的示例涉及深度感测设备，并涉及设置深度感测设备中的脉冲定时的方法，并且其他示例涉及多设备协调深度感测组。当前公开的主题的示例中的(多个)深度感测设备使用有源深度感测技术，并且包括用在有源深度感测中的组件。
术语“有源深度感测”涉及深度感测技术，其依靠在场景上的编码光的投影、捕获投影的编码光的反射部分以及处理捕获的信号以提取深度信息。有源深度感测技术包括飞行时间(“TOF”)和结构光深度感测技术。TOF深度感测依靠光的时间编码，并且结构光深度感测将空间域编码应用至传输的(或发射的)光。结构光编码和解码方法通过示例的方式在美国专利第8,090,194号中和美国专利第8,538,166号中被公开，其通过引用将其整体并入本文。在下面的描述中，各种示例参考结构光深度感测技术。然而应注意的是，这样的示例是非限制性的，并且在本公开中提供的示例也将加以必要的变更应用至其他类型的有源深度感测技术，其使用编码的光脉冲以获取关于场景的深度信息。
现在参考图1-4，其从不同的视角且以深度感测设备的示例的各种形式配置和形状因数提供外观的图形说明。图1是具有被布置在智能手机背面侧上的深度感测设备的智能手机的图形说明；图2是具有被布置在智能手机正面侧上的深度感测设备的智能手机的图形说明；图3是具有被布置在平板电脑的背面侧上的深度感测设备的平板电脑的图形说明，其全部是当前公开的主题的示例；以及图4是专用深度感测设备的图形说明。将理解的是，深度感测设备的其他配置是可能的。
深度感测设备100通常包括投影仪10、深度传感器20和图像传感器30。深度感测设备的示例是由以色列的佩塔提克瓦的Mantis-Vision公司开发的Aquila平板电脑和Project Tango平板电脑，其被发布作为由加利福尼亚的山景城的谷歌有限公司的开发工具的一部分。project Tango平板电脑被发布为两个版本，第一版本是有源立体声版本，其中包含结构光投影仪和能够解码投影的二维双色调图样的反射部分的图像的解码器，其两者均由Mantis-Vision有限公司开发，以及第二版本是飞行时间版本，该版本基于由德国锡根的Pmd科技股份有限公司开发的技术。有源深度感测技术的其他示例包括由华盛顿州的雷德蒙德的微软公司销售的两个版本的KinectTM深度感测设备。较早版本的KinectTM基于结构光投影，以及较晚版本是以飞行时间为基础。深度感测设备100的硬件和/或软件可类似于被实施在任一版本的Tango平板电脑中、在Aquila平板电脑中、在任一版本的KinectTM中或在各种其他商业可用的有源深度感测设备中的硬件和/或软件，并且本文大体上描述的有源深度感测设备的硬件和软件组件是高层术语。
投影仪10通常发射不可见光，如IR光或近IP(NIR)波段内的光。将理解的是，投影仪10和深度传感器20可运行在任何波长波段处，只要由投影仪10发射的编码光通过深度传感器20可检测并能够区别于环境光。图像传感器30通常是可能具有一些滤波器的图像传感器，并且能够感测由投影仪10投射的光的反射部分。图像传感器30可用于记录可见光图像。在许多深度感测应用中，深度信息和(可见光)图像例如被合并以提供与深度信息关联的对象的3D模型。在一些配置中，以及对于特定应用，深度感测设备100可被构造为不具有图像传感器30。
投影仪10、深度传感器20和图像传感器30可被定位在设备上的各种可能的位置。投影仪10和深度传感器20的位置和定向可确定设备的深度感测功能的FOV的覆盖范围。在一些深度感测设备中，由图像传感器30提供的信号也可用于提取深度信息或可另外与深度信息组合(例如，在彩色投影中)。在这样的情况下，图像传感器30的位置和定向也可影响深度信息表示的深度信息。根据当前公开的主题的示例，与投影仪10、深度传感器20以及可能的图像传感器30的位置和定向关联的校准信息可被存储在设备100中，并且可用在深度提取过程和需要这样的校准信息的其他过程中。作为例程或响应于某些事件(例如，显著冲击)，校准过程可时常重复以保持或恢复校准。
投影仪10被配置为发射脉冲形式的编码光，并且深度传感器20采集在曝光周期期间投射光的反射部分。脉冲和曝光操作一秒被重复许多次。该循环被称为帧。例如，脉冲和曝光持续时间可约为2毫秒(对于全局快门传感器)，以及帧速率可以是每秒30帧。在贯穿描述的许多地方，脉冲发射周期和曝光周期被显式或隐式地称为是并发的。并发脉冲发射和曝光周期适用于某些类型的深度感测配置和组件，例如，适用于包括全局快门传感器的深度感测设备。然而，本公开不限于这样的深度感测设备和配置，并且在其他情况下，脉冲发射周期和曝光周期不是并发的。一个这样的示例是使用滚动快门且其中脉冲周期仅与曝光持续时间的一部分重合的深度感测设备。例如，在使用滚动快门的深度感测设备中，脉冲周期可在所有传感器线被曝光期间(或当至少某一比例的传感器被曝光时)(仅)与部分曝光重合。如以下将进一步详细描述的，在这样设备中的脉冲的协调可考虑每个设备的曝光持续时间。
深度感测设备也可选地包括可见光闪光灯40，其可用于与图像传感器30协作以用于捕获在低光条件下的图像。深度感测设备100也可包括显示器70、按钮60以及任何其他用户交互机制。
多设备深度感测组的成员可采用显示在图1-4中的设备的任意一个的形式或任意一个可以是使用脉冲编码光投影以获取关于场景的深度信息的任何其他深度感测设备。
根据当前公开的主题的示例，现在参考图5，其是深度感测设备的主要组件的框图说明。根据当前公开的主题的示例，深度感测设备100可包括投影仪10、深度传感器20和图像传感器30(其全部在上文被提及)以及驱动器150、存储单元105、处理器115、通信模块125和时钟发生器127。
驱动器150被配置为提供功率需要以用于投影仪10的操作。通过控制用于驱动投影仪10并且特别是投影仪10中的光源的功率，投影仪的操作的各个方面及其输出可被修改和控制。驱动器150可与处理器115协作工作。
存储单元105可被配置为存储计算机程序代码和其他数字数据。存储单元105可存储计算机程序代码，该计算机程序代码用于操作投影仪10(包括投影仪的脉冲调制)、采集对应于由投影仪10的光投影的反射部分的信号、解码由深度传感器20生成的信号以及从中提取深度信息。存储单元105也可存储由深度感测过程生成或在深度感测过程中使用的数据和信息(如深度图或点云)连同在深度感测设备100中使用或由其组件中的任何一个使用的任何其他信息，以及由设备100或其组件生成的任何信息。存储单元105也可用于存储程序代码和任何协议规范，其用在设置深度感测设备100上的脉冲定时以及初始化和管理设备100中的协调深度感测会话的过程中。在一些配置中，存储单元105也可存储程序代码和任何协议规范，其用于建立多设备协调深度感测组且用于管理该组，包括确定和设置组的成员上的脉冲定时。
必要时，处理器115被配置为处理用于操作设备100组件的数据。处理器115可被配置为从设备的各种组件(包括从存储单元105)中获得数据，处理数据以及向设备100的各种组件提供指令以用于控制操作。处理单元115也可被配置为使用通信模块125发送和/或接收从设备100至多设备协调深度感测组的其他成员和/或从多设备协调深度感测组的另一成员至设备100的指令。
根据当前公开的主题的示例，处理器115可被配置为运行被存储在存储单元105中的程序代码。处理器115运行各种操作本身，并且能够管理运行在深度感测设备100的其他组件上以及协调和参与在设备100(具有外部实体)内部和外部两者的数据交换的操作，包括用于设置在深度感测设备100自身中的脉冲定时(以及相应地适应曝光定时)，并且可能包括作为与设置多设备协调深度感测组和在该组的每个成员上实施协调的脉冲定时方案的部分或与其相关联。在当前公开的主题的一些示例中，处理器115也可被配置为调整设备100中的脉冲和/或曝光的其他时间特性，如脉冲/曝光持续时间等。
如以上所述，作为设置或实施协调的脉冲定时方案的部分，深度感测设备中的脉冲的定时可与多设备协调深度感测组的其他成员协调被调整。处理器115也可被配置为调整帧速率或帧持续时间以及涉及帧的其他时间特性。
在当前公开的主题的还另外的示例中，关于设备100上的脉冲、曝光以及可能也涉及帧的某些设置的改变，处理器115可被配置为执行对设备组件的其他属性和/或配置的改变。这样的改变可能是必要的，以促进或平衡涉及脉冲、曝光以及可能也涉及帧的(多个)修改。例如，如果脉冲持续时间被改变(更短的脉冲)，则被施加至投影仪10中的光源的驱动电流可以被修改以便平衡修改的照明持续时间。为了方便起见，在以下描述中对脉冲、曝光或帧的定时的改变的引用包括(作为选项)对脉冲、曝光或帧持续时间的改变，以及(作为另一选项)促进或平衡对脉冲、曝光或帧的定时或持续时间的改变的改变。
根据当前公开的主题的示例，脉冲和曝光定时以及可能还有帧定时的修改以及如果适用还有以上提到的互补修改(complimentary modification)可与协调的脉冲定时方案关联。协调的脉冲定时方案可由设备100发起，在这种情况下，修改可响应于从设备100的自身处理器115接收的指令而被执行。设备100可充当多设备协调深度感测组的主控或协调器，并且处理器115例如通过通信模块125可将指令分配给形成组的一个或多个其他成员，以修改它们的脉冲和曝光定时并且也可能修改帧定时，并且如果适用也分配指令以进行与协调的脉冲定时方案关联的互补修改。在另外的示例中，仅定时指令由协调实体(其可以是组的成员或某其他实体)发出，并且对于支持由与定时指令有关的每个设备施加的修改所必要的任何修改由设备在内部确定和执行。
在其他示例中，定时方案可在设备100外部被发起。例如，设备100可例如通过通信模块125接收用于修改脉冲和曝光定时以及可能还修改帧定时的指令。指令可从另一深度感测设备到达设备100处，该另一深度感测设备正建立(并且可充当协调器或主控)多设备协调深度感测组。响应于指令，处理器115可修改脉冲和曝光定时以及可能也修改帧定时，并且如果适用也可修改与修改脉冲和曝光定时关联的互补修改以及如果适用还可修改帧定时。在另外的示例中，仅(来自协调实体的)定时指令在设备100处被接收，并且对于支持被应用在设备内的修改必要的任何修改。
处理器115也可被配置为解码由深度传感器20获取的信号以提取深度信息。处理器115可适应于运行对于有源深度感测必要的其他例程，如现场校准过程(有时也称作自动校准)、配准等。
具有处理能力以及发出和/或执行指令的能力的任何类型的设备可用在设备100中。例如可使用多核处理器、处理阵列或分布式处理实体。
根据当前公开的主题的示例，时钟发生器127信号用于确定脉冲定时和持续时间、曝光定时和持续时间，并且可能也确定帧定时和持续时间(或帧速率)以及脉冲、曝光和帧之间的任何间隔。曝光定时和脉冲定时可基本上是同步的，并且可共享相同的时钟定时(或几乎相同的时钟定时)。在一些情况下，在设备100中可有几个时钟发生器。一个时钟发生器可取决于另一个，而其他时钟发生器取决于至少一个其他时钟发生器(异步的)。处理器115可具有其自己的内部时钟发生器。为了简单起见，描述假定，深度感测设备100中的脉冲的定时(和曝光定时以及可能还有帧定时)由时钟发生器127设置，并且脉冲的定时(和曝光定时以及可能还有帧定时)可通过编程时钟发生器127或通过修改基于由时钟发生器127生成的时钟信号的深度感测设备100中的脉冲的定时(和曝光定时以及可能还有帧定时)来调整，而不涉及其他时钟发生器127。然而应指出的是，在某些深度感测设备中，以及在一些配置中，协调在给定的设备中的多于一个的时钟发生器可能是必要的，并且脉冲的定时(和曝光定时以及可能还有帧定时)可能与多于一个的时钟发生器关联。
在当前公开的主题的示例中，处理器115可读取时钟发生器127的信号(如以上所述，这可以是处理器的内部时钟发生器)。设备100中的脉冲和曝光定时并且可能还有帧定时的点火可根据时钟发生器127被设置。处理器115可根据协调的脉冲定时方案控制投影仪10发射脉冲的定时和曝光定时以及可能还有帧定时。处理器115可被配置为响应于按照协调的脉冲定时方案发出的指令来调整脉冲的定时和曝光定时以及可能还调整帧的定时。其他属性或配置也可基于指令或结合修改的脉冲、曝光或帧定时或持续时间而在设备中被修改。
用于调整发射脉冲的定时和曝光定时以及可能还有帧的定时的指令可在设备100中产生。在这种情况下，处理器115可设置脉冲的本地定时(和曝光定时以及可能还有帧定时)，并且也可对多设备协调深度感测组的一个或多个其他成员发出指令以调整它们自己的定时，使得脉冲定时在组的所有成员上被协调。在另一示例中，处理器115可设置脉冲的本地定时(和曝光定时以及可能还有帧定时)，并且也可对组的其他成员发出指令以调整它们自己的定时，因此组的每个成员在每帧期间具有独占分配的脉冲时隙，其通过组中的多个设备在单帧期间能够实现多个曝光。在此使用的术语帧用于描述跨越脉冲发射和曝光周期的持续时间。组中的每个设备按某一速率来重复脉冲发射和曝光操作。根据当前公开的主题的示例的协调的脉冲定时方案，多个协调的脉冲(和曝光)在单帧期间(在独占分配的时隙处)被点火，其中帧的持续时间是组的一个成员上的两个连续脉冲(和曝光)之间的时间间隔。例如，多个协调的脉冲在作为来自组成员之中的第一成员(或第n成员)的设备的单帧期间(在独占分配的时隙处)被点火以点火它的脉冲。在另一示例中，多个协调的脉冲在单帧期间被点火，其中帧的持续时间是在组成员上协调脉冲的主控设备中的两个连续的脉冲之间的时间间隔。还将理解的是，每个独占分配的时隙对应于帧的不同部分。在一些情况下，这样帧的定时可在多设备深度协调深度感测组的所有成员上同步。在其他情况下，帧不是同步的。在帧不是同步的情况下，在多设备协调深度感测组的不同成员上的脉冲定时的协调可通过偏移帧(或帧开始点)实现，如此以第二组成员的帧开始，每个设备的帧开始点通过在任何两个脉冲之间的某一缓冲区从先前设备的帧开始点偏移。结果是相对于用于点火其脉冲的组中的第一设备中的帧开始时间、组的所有先前成员的脉冲持续时间、外加组中的任何两个先前的设备之间的缓冲区，每个脉冲的定时可以是基本上相等的。
帧在多设备协调深度感测组的所有成员上可以是同步的，在该情况下此处所引用的帧是一个帧。
当外部实体基于协调的脉冲定时方案发出定时指令时(如当主控是组的另一成员时，或当对等协调被实施时)，指令可通过通信模块125被接收、被传递至处理器115，并且与时钟127协作的处理器115可按照指令调整脉冲定时(和曝光定时以及可能还有帧定时)。
脉冲定时指令(其也可涉及或意味着关于曝光定时和可能还有帧定时的指令，或这样的指令可被分开)可遵循协调的脉冲定时方案设置例程或握手。作为设置例程的部分，数据可从形成多设备协调深度感测组的成员中被获取或在其之间被交换。数据可包括当前的脉冲定时，并且可能也包括曝光定时以及可能也包括帧定时(及其持续时间)。数据也可包括关于在设备中使用的配置、能力或组件的数据。数据可包括设备的位置和关于设备的当前状态或条件、其组件、配置或设备的环境的各种其他指示。
定时指令可被寻址到特定设备或到设备的组(例如，到正在形成多设备协调深度感测组的特定成员)，或指令可被传输至非特定接收器。在一个示例中，可存在对于多设备协调深度感测组中的成员的数量的限制，并且第一个加入该组的被包括在组中，并且试图在组满员之后加入该组的任何设备被拒绝的或只是不成功。在其他示例中，多设备协调深度感测组的设置例程和/或操作受限于用于形成和管理组的通信的范围。例如，当近距离通信用于设置或操作组时，如蓝牙或NFC，或通信范围内的设备(且其已经成功配对)可在多设备协调深度感测组中协作。各种其他标准可用于选择哪些设备可加入或参与多设备协调深度感测组。
用于根据协调的脉冲定时方案设置脉冲的定时的脉冲定时指令可能是总体的，并且组的每个成员可实施总体指令，或在另一示例中，指令可被针对于设备(组的成员中的一个)且通过在每个相应的设备上执行特定指令来寻址，实现在组的所有成员上的脉冲协调。如果指令被寻址至组的特定成员，则指令可包括标识符或指令被寻址至的成员的网络地址。
脉冲定时指令(其也可涉及或意味着关于曝光定时和可能还关于帧定时的指令)可能需要与指令被寻址至的设备的操作者进行交互。涉及操作者的要求可被包括在指令中，或可通过接收指令的设备的配置来添加。操作者也可能能够传输对指令的响应，并且在一些示例中，指令可根据操作者的响应被调整，并且新的指令可在更新后被接收。
设置脉冲定时(和曝光定时以及还可能地帧定时)可涉及在多设备协调深度感测组的所有成员上同步时钟，并且可能还修改或编程设备中的一个或多个上的时钟。
根据当前公开的主题的示例，除了定时指令之外，处理器125也可被配置为提供与设备100的位置相关的指令，并且如果设备是多设备协调深度感测组中的主控或协调器，则处理器125也可生成和传达(例如，通过通信模块127)位置指令至组的另一成员。
根据当前公开的主题的示例，在涉及多个协调深度感测设备的正在进行的深度感测会话期间，每个设备相对于场景、相对于感兴趣的对象或相对于彼此的覆盖范围、位置和/或定向可被确定。确定深度感测设备的覆盖范围、位置和/或定向可以以各种方式实现。在一个示例中，对于多设备协调深度感测组的两个或更多个成员的目标组合覆盖范围可被获取或确定。例如，目标组合覆盖范围可涉及特定场景或对象，或其可以是覆盖范围的更抽象的表示，如组合的FOV的角。基于目标组合覆盖范围，定位(或定向等)指令可被提供至组的两个或更多个成员中的至少一个。
在一个示例中，定位指令和可能还有目标组合覆盖范围可以与组的两个或更多个成员的当前位置关联。
可用于确定两个或更多个深度感测设备的覆盖范围、位置和/或定向(以及存在什么重叠)的一个可能(且非限制性)过程可涉及处理由深度感测设备的图像传感器30捕获的2D图像。在一个示例中，来自两个(或更多个)设备的2D图像被处理以检测图像中的匹配特征。由于图像传感器30在每个设备中被校准至深度传感器20(和可能还被校准至投影仪10)，因此当匹配特征位于来自两个(或更多个)设备的图像中时，可评估设备的相对覆盖范围。除了图像处理方法之外或作为对于其的可选方法，在深度感测设备上搭载的传感器(如GPS、INS等)可用于确定设备的当前位置、定向、角等以及其从先前已知位置的移动。每个设备中的深度感测组件和成像组件的光学特性或配置也可用于确定深度感测设备的位置和/或覆盖范围。
在一个示例中，处理器115可执行且运行确定多设备协调深度感测组的至少一个其他成员的覆盖范围、位置和/或定向的过程。这可能是当设备100充当组中的主控或协调器时的情况。在其他示例中，覆盖范围、位置和/或定向确定不必要在主控设备上执行，并且可由组的任何成员实现。过程也可被分割或在组的一些或所有成员之间被共享。
处理器115可获取对于确定其自己的覆盖范围、位置和/或定向以及组的一个或多个其他成员的覆盖范围、位置和/或定向所必要的任何信息。如以上所述，这可包括2D图像、来自位置和/或定向传感器的信号以及关于在设备中使用的深度感测组件和成像组件的光学特性或配置的数据。随后处理器115以绝对项或相对项来确定当前覆盖范围、位置和/或定向。基于当前覆盖范围、位置和/或定向并且可能还通过预测未来的覆盖范围、位置和/或定向(例如，基于运动跟踪)，处理器115可发出关于深度感测设备100的未来覆盖范围、位置和/或定向的指令，或关于组的一个或多个其他成员的指令，其将通过通信模块127被中继至这些其他成员。
接收来自另一设备的覆盖范围、位置和/或定向指令的深度感测设备执行指令，以根据指令改变其覆盖范围、位置和/或定向。例如，当接收覆盖范围、位置和/或定向指令时，设备100的处理器115可被配置为在设备70的显示器上为操作者显示指示以改变覆盖范围、位置和/或定向，例如通过在某一方向上移动，或者改变设备100或深度感测组件相对于场景或相对于场景内的对象的定向。显示器上的指示可采取指向某一方向的箭头、放置在感兴趣的对象的图像上的图形标志等的形式。除了可见指示或作为可见指示的可选方式，可使用任何其他形式的指示，包括使用音频、使用振动等以用于指导操作者实现所需的覆盖范围、位置和/或定向。
在其他情况下，例如，当设备100被安装在机动平台上时，处理器115可发出数字命令至设备的组件或机动平台，其基于覆盖范围、位置和/或定向指令运载设备100，并根据其接收的指令使设备的组件改变设备或其深度感测组件的覆盖范围、位置和/或定向。
应指出的是，确定覆盖范围、位置和/或定向的过程可被实施在多设备协调深度感测组的每个成员上、在设备中的仅一个(用作主控或协调器的一个)上或不是深度感测设备的分离设备(中央单元)上。
通信模块125用于使深度感测设备100能够与外部资源通信，如与其他深度感测设备通信。通信模块125可发送和/或接收用于操作设备100和/或用于操作其他深度感测设备(例如，协调的多设备深度感测组的其他成员)的指令。发送和/或接收的指令可例如包括用于设置投影仪10的脉冲定时的指令。将理解的是，脉冲定时可由投影仪10的内部时钟发生器或由设备10的任何其他时钟发生器设置，并且指令可涉及任何相关的时钟。另外，不同的设备可具有用于设置投影仪10的定时的配置，并且用于在本地和/或多设备协调深度感测组的其他成员上设置脉冲定时的程序能够确定发出什么指令以及到哪一时钟发生器的指令用于实现多设备协调深度感测组的每个成员上的所需脉冲定时，或用于根据从多设备协调深度感测组的另一成员接收的指令本地设置脉冲的定时。
通信模块125可被配置为使用任何一个或多个通信协议(并且可包含几个调制解调器以支持任何这样的协议)，包括：RF信号、近场通信(NFC)、蓝牙、Wifi、无线USB、红外信号以及任何有线通信协议(例如，诸如以太网)。
设备100也可包括用户接口(未显示)，如触摸屏、麦克风、扬声器等，以及触觉开关或按钮、扬声器、麦克风、生物反馈传感器等，以允许用户设备和设备用户的交互。用户可利用(多个)用户接口，以修改在设置和管理多设备协调深度感测组中涉及的某些操作，并且设置和控制由这样的组实施的协调深度感测会话。例如，在其中设备中的一个用作主控或协调器设备的组中，用户可通过与主控设备的触摸屏上的显示器的交互向其他设备(其是从动设备)发出指令。
如以下将进一步详细描述的，在多设备协调深度感测组中，一个设备可用作主控设备并且其他设备是从动设备。主控设备可具有与(多个)从动设备相同的配置，或在其他实施中，一些差异可能存在于主控和从动设备之间，例如，从动设备可能不具有显示器。特定设备可在一个协调深度感测会话中用作主控设备而在另一个会话中用作从动设备。
图5中所示且以上参考图5描述的深度感测设备可被实施为专用的深度感测设备，或被实施为也包括其他组件且用于其他用途的设备或系统中的块或子系统。例如，显示在图1-3中的设备是包含深度感测块的移动计算机平台。平台可以是通用目的或可以用于某种或某些特定用途。根据当前公开的主题的示例，在现在参考的图6中，显示了设备600的配置的示例，该设备600包括通用计算机硬件并且其中深度感测块602被包含且被集成到设备600中。图6中的深度感测设备600可以是智能手机、平板电脑、笔记本计算机、个人计算机、游戏控制台、虚拟现实护目镜、专用的深度感测实体、包含深度感测单元的专业实体等。
在通过示例的方式显示在图6中的配置中，深度感测块602包括以上参考图1-4和图5描述的投影仪10、深度传感器20、存储器105、处理器115以及驱动器150。在显示在图6中的配置中，RGB传感器30(或用于捕获可见光图像的传感器)被实施为在深度感测块602外部的设备成像硬件630的部分，并且通信模块640也被实施为在深度感测块602外部。
根据当前公开的主题的示例，除了深度感测块602及其组件之外，深度感测设备600也可包括电源620、储存单元635、通信模块640、设备处理器650和存储器660、设备成像硬件630、显示单元610以及其他用户接口690。还如图6中所示的是操作系统670，其用于操作深度感测设备600及其任意一个的组件。深度感测块602及其任意一个的组件能够可选地连接至深度感测设备600的任何组件，并且不同的组件可一起工作以执行共同操作。
应指出的是，在当前公开的主题的一些示例中，深度感测设备600的一个或多个组件可被实施为分布式组件。在这样的示例中，某一组件可包括在两个或更多个互相连接的节点上分布的两个或更多个单元。进一步通过示例的方式，可能由设备处理器650执行且可能是操作系统670的部分的计算机程序可能够控制分布的组件并且可能够操作在两个或更多个互相连接的节点的每个上的资源。
已知的是在移动通信设备中使用各种类型的电源。电源620可包括一个或多个电源单元，如电池或电池组、短期高电流源(如电容器)、涓流充电器等。
设备处理器650能够包括能够处理软件程序的一个或多个处理模块。在该描述中，设备处理器650可包括在计算机化平台中实施的不同类型的处理器，如主处理器、应用处理器等。设备处理器650或通常在本文中被称作被包括在设备处理器中的处理器中的任何一个可具有一个或多个核、内部内存储器或缓存单元。
储存单元635可被配置为存储计算机程序代码，其对于执行移动通信设备100及其任何一个组件的操作或功能是必要的。储存单元635也可被配置为存储一个或多个应用，包括3D应用680，其可在计算机化平台上执行。在分布配置中，一个或多个3D应用680可被存储在远程计算机化设备上，并且可作为服务由移动通信设备使用。除了应用程序代码之外或作为对其的替代方案，储存单元635可被配置为存储数据，例如包括由深度感测块602提供的深度信息。
通信模块640可被配置为能够实现到深度感测设备600和来自深度感测设备600的数据通信。通过示例的方式，可由通信模块640支持的通信协议的示例包括但不限于蜂窝通信(3G、4G等)、有线通信协议(如局域网(LAN))以及无线通信协议(如Wi-Fi)、无线个人区域网络(PAN)(如蓝牙)等。通信模块640可实施各种同步协议，以在本地上或远程设备上设置定时，该同步协议是多设备协调深度感测组的部分。
应指出的是，根据当前公开的主题的一些示例，深度感测块602的一些组件可在深度感测设备硬件资源上实施。例如，代替具有专用处理器115，设备处理器650可用于执行对于深度感测块602的操作所需的数据处理任务。还进一步通过示例的方式，深度感测设备600可包括多于一个的处理器和多于一个类型的处理器，例如，一个或多个数字信号处理器(DSP)、一个或多个图形处理单元(GPU)等，并且3D照相机可被配置为使用来自多个设备600处理器中的特定一个(或特定组或类型)处理器。
深度感测设备600可被配置为运行操作系统670。操作系统的示例包括但不限于：美国华盛顿州雷德蒙德的微软公司的Windows MobileTM和由美国加利福尼亚的山景城的谷歌责任有限公司开发的Android操作系统。
3D应用680可以是使用3D数据的任何应用。3D应用的示例包括虚拟磁带测量、3D视频、3D快照、3D建模等。将理解的是，不同的3D应用可具有不同的要求和特征。3D应用680可被分配至3D应用组或可与其关联。在一些示例中，深度感测设备600能够并行运行多个3D应用680。
成像硬件630可包括任何成像传感器，在具体的示例中，可使用能够捕获可见光图像的成像传感器。根据当前公开的主题的示例，成像硬件630可包括传感器，通常是至少对可见光敏感的传感器，并且可能还包括用于在低可见光条件下能够实现图像捕获的光源(如一个或多个LED)。根据当前公开的主题的示例，设备成像硬件630或其一些组件可被校准至深度传感器20和可能还被校准至投影仪10。将理解的是，这样的校准可使深度信息(或根据深度信息生成的3D模型)和如将对本领域中的这些熟练的技术人员已知的各种其他共同操作能够结构化。
在又另一示例中，成像硬件630可包括RGB-IR传感器，其用于捕获可见光图像和用于捕获IR图像。还进一步通过示例的方式，RGB-IR传感器可用作(多个)深度传感器20且用作可见光照相机两者。在这种配置中，驱动器650和投影仪10以及可能还有深度感测块602的其他组件被配置为与成像硬件630协作操作，并且在以上给出的示例中，与RGB-IR传感器协作操作以提供3D深度或范围数据，以及与深度感测块602外部的其他组件协作操作。
显示单元610可被配置为提供图像和图形数据，包括可能在使用3D应用680进行处理之后由深度感测块602捕获的3D数据的视觉呈现。用户接口690可包括使用户能够与深度感测设备600交互的各种组件，如扬声器、按钮、麦克风等。显示单元610可以是也可用作用户接口的触敏显示器。
根据当前公开的主题的一些示例，包括深度感测块602的处理器115、或者设备处理器650和/或用在深度感测设备600中的任何处理器的任何子组件或CPU核等的任何处理单元可被配置为读取存储在储存单元635中的3D视频剪辑的帧和/或3D图像，和/或例如通过通信模块640接收来自外部源的3D图像和/或3D视频剪辑的帧；产生出自所述3D图像和/或帧的3D模型。通过示例的方式，产生的3D模型可被存储在储存单元635中，和/或通过通信模块640被发送至外部目的地。根据当前公开的主题的另外的示例，任何这样的处理单元可被配置为处理捕获的图像。
图7是关于深度感测设备700的一个可能实现的示例的简化框图，其包括移动深度感测设备702和云平台704，该云平台704包括允许处理由移动深度感测设备702提供的数据的资源，可能与来自其他源(包括来自其他深度感测设备)的数据组合。
根据当前公开的主题的示例，云平台704可包括硬件组件，例如包括一个或多个电源720、一个或多个储存单元735、一个或多个通信模块740、一个或多个处理器750、一个或多个存储器760等。
储存单元735可被配置为存储对于执行云平台704及其任何一个组件的操作或功能所必要的计算机程序代码。储存单元735也可被配置为存储一个或多个应用，包括3D应用，其可在云平台704上被执行。除了应用程序代码之外或作为对其的替代方案，储存单元735可被配置为存储例如包括3D数据的数据。
通信模块740可被配置为能够实现到云平台和来自云平台的数据通信。通过示例的方式，可由通信模块740支持的通信协议的示例包括但不限于蜂窝通信(3G、4G等)、有线通信协议(如局域网(LAN))以及无线通信协议(如Wi-Fi)、无线个人区域网络(PAN)(如蓝牙)等。
一个或多个处理器750可包括能够处理软件程序的一个或多个处理模块。在该描述中，设备处理器750可包括在云平台704中实施的不同类型的处理器，如通用处理单元、图形处理单元、物理处理单元等。设备处理器750或本文中通常提到的任何处理器可具有一个或多个核、内部存储器或缓存单元。
根据当前公开的主题的示例，一个或多个存储器760可包括几个存储单元。每个单元可能通过全部的一个或多个处理器750或仅通过一个或多个处理器750的子集访问。
根据当前公开的主题的一些示例，包括一个或多个处理器750和/或一个或多个处理器750的子组件或CPU核等的任何处理单元可被配置为读取深度信息、存储在储存单元735中的3D视频剪辑的帧和/或3D图像，和/或例如通过通信模块740接收来自外部源的3D图像和/或3D视频剪辑的帧，其中通过示例的方式，通信模块可与移动深度感测设备702、与另一云平台等通信。通过示例的方式，处理单元可被进一步配置为产生出自所述深度信息或3D图像和/或帧的3D模型。进一步通过示例的方式，产生的3D模型可被存储在储存单元735中，和/或通过通信模块740被发送至外部目的地。根据当前公开的主题的另外的示例，任何这样的处理单元可被配置为处理捕获的图像。
现在参考图8，其是根据当前公开的主题的示例的具有协调的脉冲定时的多个深度感测设备的图形说明。如图8中所示，多个深度感测设备810、820和830被布置在场景周围。出于说明的目的，示出了深度感测设备810、820和830中的每个的投影仪10和深度传感器20，然而，深度感测设备810、820和830也可包括其他组件并且可具有如以上参考图1-7所描述的各种配置和设计。
根据当前公开的主题的示例，深度感测设备810、820和830是多设备协调深度感测组800的部分。多设备协调深度感测组800可包括两个或更多个(例如，三个、四个、...、n个)深度感测设备。可以是多设备协调深度感测组800的部分的设备的数量特别由脉冲和/或曝光持续时间、帧速率和各种其他参数(以下进一步描述)来限制。
多设备协调深度感测组800的成员被配置为根据协调的脉冲定时方案来操作。根据协调的脉冲定时方案，组的每个成员被分配有独占的曝光持续时间，在该独占的曝光持续时间期间只有组的该成员可发射脉冲并采集(经由深度传感器)由脉冲投射的光的反射部分。进一步通过示例的方式，帧定时在多设备协调深度感测组800的所有成员上被同步，并且组的每个成员被分配有帧的不同部分。为了方便起见，向多设备协调深度感测组800的每个成员分配的帧的部分在此称作“曝光间隔”。还进一步通过示例的方式，在每个分配的曝光间隔之间，保持一定的缓冲区。如以下将进一步详细描述的，缓冲区可与各种不确定参数关联。
因此，例如，时刻801-803在单帧(即，深度感测帧)期间出现。在时刻801处，设备810被给定独占时间窗口，设备801是其投影仪被操作以发射脉冲的组800的唯一成员，并且信号由其深度传感器基于经由脉冲投射的光的反射部分来生成。在时刻802处，相同的独占性被授予设备820，以及在时刻803处，独占时间窗口被授予设备830。在图8中示出的帧方式(frame-wise)的脉冲定时方案可在多个帧上重复，使得无干扰和协调的脉冲调制方案在每帧处重复。
在图9A中，根据当前公开的主题的示例，图8的多设备协调深度感测组800被示出具有每个设备的FOV。如以上所述，多设备协调深度感测组800共享和实施协调的脉冲定时方案，使得在每帧中组的每个成员在仅该成员可点火脉冲和采集反射光期间接收独占分配的时隙。使组的成员位于对象周围，使得组800的成员810-830中的每个覆盖场景或对象的不同区域(具有一些重叠以实现/帮助配准)，使通过协调的脉冲定时方案的使用可能产生的单帧多个FOV的曝光能力支持具有曝光之间基本上没有运动模糊的宽广的覆盖范围。特别地，当目标是获取动态场景或对象的宽的覆盖范围(广角)时，对多设备协调深度感测组可用的每帧多个曝光的能力可提供扫描的对象(或场景)的更准确的表示，并且运动模糊相比于利用单个深度感测设备完成的每帧单曝光的扫描将更不明显，该单个深度感测设备围绕对象移动且随时间捕获多个帧以获得与设备的组以单个或少量的帧可实现的相同的覆盖范围。
将指出的是，为了实现最佳覆盖范围且促进由多设备协调深度感测组800的成员生成的深度信息的互配准，组的成员需要相对于感兴趣的对象和相对于彼此被定位在特定位置中。这种最佳的位置可依赖于各种因素，包括每个设备的FOV、使用的配准算法、投射的光的特性、环境条件、感兴趣的对象的形状等。
在当前公开的主题的一些示例中，当多设备协调深度感测组800被形成和/或在正在进行的协调深度感测会话期间的任何点处时，能够相对于场景或相对于场景内的感兴趣的对象确定组800的一个或多个成员的位置。还进一步通过示例的方式，当多设备协调深度感测组800被形成和/或在正在进行的协调深度感测会话期间的任何点处时，组800的一个或多个成员相对于场景或相对于场景内的感兴趣的对象的重新定位可基于以上的因素并考虑设备的当前位置来确定。设备的当前位置可使用任何已知的方法来获取，包括基于板上或与如惯性测量单元(IMU)、全球定位系统(GPS)的设备关联的传感器、基于通过处理提取的深度信息(例如，法线)确定的照相机位置、基于彩色图像(来自运动分析的体视术)等。重新定位指令可相应地被提供给组800的一个或多个成员。设备800的位置可在持续的基础上被跟踪，并且定位指令可按需时时被发出。在另一示例中，定位指令可跟随每帧或跟随一定数量的帧被发出。定位指令可涉及设备的方向、距离、角或定向。
现在参考图9B，根据当前公开的主题的示例，图8的多设备协调深度感测组800显示在固定的位置处。在图9B中，形成多设备协调深度感测组800的多个设备810-830被固定至外壳910，并且因此它们的相对位置和设备的组合覆盖范围被预先确定。该配置适于某些应用，例如，当待扫描的对象被带至扫描装备而不是其他方式时。一个示例可以是在起居室处或公共场所中的手势控制模块。
现在参考图10和图11。图10示出了根据当前公开的主题的示例的通过组合关于投掷气球的人被定位的、在单帧期间由多设备协调深度感测组中的两个成员的每个所生成的点云来生成的点云。图11示出了根据当前公开的主题的示例通过组合由单个深度感测设备在多个帧上生成的点云所生成的点云，其中深度感测设备用于扫描投掷沙滩球的人。在图10和图11的每个中，全场景从一个角度显示以用于说明。聚焦于气球(图10)和沙滩球(图11)的区域，清楚地示出了在组合的点云中的不同水平的运动模糊。在图10中，标记的区域1002示出了相比于例如在图11中的区域1102实质上运动模糊的更微细的效应。
如以上所述，在每帧期间，组800的每个成员810-830生成深度信息，并且通过将多个深度感测设备定位在感兴趣的对象周围，对象可被从单帧中的多个方向的深度扫描深度。
现在参考图12，其中示出了在多设备协调深度感测组被建立之前且在协调的脉冲定时方案应用于设备之前的多个深度感测设备上的曝光定时的图表。图表1202、1204、1206各自示出了深度感测设备810、820和830的每个上的三个连续帧期间的帧和脉冲定时。在图12中，示出了曝光定时，但是本领域中的这些熟练的技术人员理解的是，在给定深度感测设备上的曝光时间和脉冲发射时间基本上是相同的。如图12中可见的，当脉冲定时在多个设备810-830上没有被协调时，两个或更多个设备可同时发射光的脉冲。当两个(或更多个)编码光脉冲被同时发射时，一个可与另一个相干扰，并且由脉冲光发射携带的代码可被破坏。当代码被破坏时，捕获的信号不能用于提取深度信息。
应指出的是，当由第一深度感测设备发射的光被反射至第二深度感测设备的传感器上且与对应于由第二设备投射的光的反射部分的信号相干扰时，代码破坏是个问题。当通过使用被布置在对象周围的多个深度感测设备扫描或成像对象时，这种情况是常见的。为了避免3D模型中的整体(如对于深度信息预期用途的一个示例)，投射光必须无缝地覆盖感兴趣的对象并且可能有一些重叠。当脉冲定时不同步时，来自相邻设备的脉冲可彼此相干扰。
在图13中，示出了根据当前公开的主题的示例的在协调脉冲定时方案被应用于设备之后，作为多设备协调深度感测组的部分的多个深度感测设备上的曝光定时的图表。图表1302、1304和1306各自示出了在多个深度感测设备810、820和830的每个上的三个连续帧期间的帧和脉冲定时。
如图13中可见的，在脉冲的定时在多个深度感测设备810、820、830被协调之后，在每帧处，多设备协调深度感测组中的每一个被分配有独占时隙，仅该成员在该独占时隙期间发射脉冲(和经由其传感器采集反射的光)。脉冲可被定时使得它们基本上是连续的，并且在任何给定的帧内的脉冲之间没有或仅有(非常)小的间隙。在另一示例中，在任何给定帧内的脉冲的定时和对多设备协调深度感测组的成员的时隙的分配能够以被分配给组的各个成员的时隙之间的任意期望间隔以任意其他方式来设定，只要脉冲的持续时间和中间的脉冲间隔不超过帧的持续时间(其由帧速率确定)。
现在另外地参考图14A，其中显示在图13中的曝光定时的图表被加入且放置在共同图表上。在图14A中，曝光定时图表1402示出了每帧的分割和帧到脉冲时隙的分配，其包括被分配给多设备协调深度感测组的每个成员的曝光时间(exp(1,1)，exp(1,2))，...，exp(2,3)以及中间的曝光间隔1404。
在图13和图14A中，被加入在实施协调的脉冲定时方案的多设备深度感测组中的设备是依赖全局快门的设备。现在参考图14B，按照当前公开的主题的示例，示出了实施协调的脉冲定时方案的多设备深度感测组的曝光定时方案，其中设备使用滚动快门传感器。滚动快门设备在曝光持续时间的一部分期间点火其脉冲。在图14B的示例中，当所有传感器线被曝光时滚动快门设备点火脉冲，并且脉冲的持续时间等于在传感器的所有线被曝光时的周期。将指出的是，其他配置以及脉冲定时和滚动快门曝光之间的关系可存在。这个关系通过每个脉冲1411、1412、1413、1414、1415和1416以及相应曝光1421、1422、1423、1424、1425和1426之间的关系被描绘在图14B中。为了避免一个设备的传感器对由另一设备的投影仪投射的光的反射部分的曝光，参与多设备深度感测组的设备的曝光需要被协调，使得设备上的曝光(例如曝光1422)仅在来自任何设备的脉冲(例如1411)结束之后开始。当脉冲(例如1411)的持续时间等于在其间传感器完全被曝光的周期(参见例如曝光1421)时，通过后续设备的曝光1422可开始同时曝光1421仍持续进行，但是通过后续设备的脉冲1412将仅在曝光1421结束之后开始。将指出的是，不确定间隔1454也可被引入曝光之间，然而在一些实施中，对于滚动快门设备在曝光之间内有间隔可能不是必要的。
在图13和图14A以及图14B中，协调的脉冲定时方案涉及帧定时在多设备协调深度感测组的成员上的同步，以及在设备的每个上相等的帧速率和帧持续时间。将认识到指的是，可设计其他协调方案，包括用于不具有相等帧速率的设备或其中帧的开始和结束时间在多设备协调深度感测组中的设备上不相同的设备。
脉冲之间的间隔可与不确定参数关联。还进一步通过示例的方式，不确定参数与任何因素关联，该因素可具有在两个或更多个深度感测设备上的协调脉冲(或曝光)定时的处理准确度上的影响。
在另外的示例中，中间的脉冲间隔可基本上等于不确定参数的集合。在还另外的示例中，在脉冲之间的间隔从不确定参数集合通过某预定义的裕量可以更大。通过示例的方式，不确定参数可包括：协调协议变化性参数、时钟和/或时间戳精度、曝光偏移精度、漂移估计等。以下更详细地描述不确定参数。
将认识到的是，物理接近可能是用于配对设备810、820和830以形成多设备协调深度感测组，和用于建立在组的成员上的协调的脉冲定时方案的要求(功能或操作要求)。
现在参考图15，图15是根据当前公开的主题的示例在多个设备上调制脉冲以形成多设备协调深度感测组的方法的流程图说明。当两个(或更多个)有源深度感测设备准备协调时，方法开始(框1505)。在一个示例中，当设备或设备的操作者能够且将要参加协调深度感测会话时，两个深度感测设备准备协调。应指出的是，单个操作者可使用两个(或更多个)设备，并且操作者可协调设备以形成多设备协调深度感测组。
根据当前公开的主题的示例，可能存在对于建立协调深度感测会话的前提要求。一些要求可涉及物理和环境条件或情况。
例如，将参与会话的两个或更多个深度感测设备可能需要在相距彼此的一定距离内。要求可例如与用于设置和/或用于在设备上运行会话的通信类型关联。如近场通信(NFC)和蓝牙的一些无线通信协议使用短距离收发器，并且依赖这种通信的任何会话具有有限的范围。
可限制能够参与会话的设备之间的可接受距离的另一因素是参与会话的设备的有效深度感测范围。通常，该限制将根据其范围在组中是最短的设备来设置。其他要求可涉及在设备中使用的硬件和/或软件。
在一些情况下，例如，在第一深度感测设备中使用的硬件和/或软件和/或配置或定义可能不是兼容的或不支持与在第二深度检测设备中使用的硬件和/或软件和/或配置或定义一起加入协调深度感测会话。在其他情况下，由于某种临时的限制或约束，某一深度感测设备不能(与特定第二设备或与任何设备)加入协调深度感测会话。例如，当设备上的可用电源低于某一阈值时，设备不能激活其深度感测能力和深度感测功能中涉及的组件。限制的另一示例可以是共享设备上的设置的隐私或数据。
除了至少存在两个深度感测设备的要求之外，其还能够按照当前公开的主题的示例参加协调的深度感测会话，必要的是，至少有两个这样的设备将要(或操作设备的用户已同意)参加这样的会话。许可能够涉及由设置会话和运行或管理会话所需的或否则与其关联的任何操作和配置，或能够涉及作为整体的会话，包括在设备上实现和运行会话(或被配置和运行的区间的部分)所需的任何配置和操作。设备的任何一个可具有默认设置，其通常允许或预防与其他设备配对，或出于协调的特定目的或对其需要协调的目的，如在一个示例中的协作深度。在发起和参加协作的深度感测会话之前，设备中的任何一个可请求用户批准(或拒绝)与会话中的发起或参加关联的任何活动，包括例如共享设备的位置、授权控制和/或访问设备的各种资源、配置、功能、信息或组件到另一设备或对涉及设置或管理会话中的其他外部实体的控制。
以下描述用户控制和用户接口特征的示例，其可允许用户与深度感测设备交互，并且能够实现和/或控制协作的深度感测会话的设置和实施。
如果(出于任何原因)不存在两个(或更多个)准备协作的有源深度感测设备，则深度会话发起过程变成空闲的(框1510)。过程可保持空闲特定时间段，直至预定义的事件触发它，或当指令被接收以再次发起过程(例如，从操作实施深度会话发起过程的深度感测设备的用户)。
然而，如果两个或更多个深度感测设备准备协调，则协调脉冲定时方案可被计算以用于现在形成协调深度感测组(框1515)。为了计算协调的脉冲定时方案，可能需要特定数据，并且协调的脉冲时间的计算先于配对操作和在其上需要数据来计算协调的脉冲定时方案建立通信信道。将认识到的是，可交换附加数据，包括对于在多设备协调深度感测组中可用的其他特征所需的或有用的数据。在其他情况下，脉冲定时方案通过运行在其间脉冲的定时通过激活深度感测设备和分析响应于由设备发射的脉冲生成的信号被确定的设置例程来确定。更具体地，设备可被激活，并且由设备采集的信号可被处理以确定一个设备是否且何时与另一个相干扰，并且特别地来自一个设备的脉冲何时与来自另一设备的脉冲相干扰。当干扰发生时，在一个或多个设备上的脉冲定时被修改，并且过程按需重复，直至实现对组的每个成员的期望的脉冲定时方案。以下更详细地讨论各种设置和协调选项。
对计算协调的脉冲定时方案所需的数据可从组的成员中获取，或其可基于预置或默认数据。在其他情况下，对协调的脉冲定时方案所需的特定设置和配置可通过生成协调的定时方案的实体被提供为指令。多设备协调深度感测组的成员可被配置为按照接收的指令实施和工作。设置和配置中的一些可基于与当前的成员或与不是当前形成组的成员(共享与当前成员相同或类似的特性、设置或配置的可能的成员)的其他设备的过去的会话。
一旦协调的脉冲定时方案准备好，方案可被提供给多设备协调深度感测组的每个成员(框1520)，并且组的每个成员可实施该方案并按照该方案操作以提供与组的其他成员协作的协调深度感测会话(框1525)。协调的脉冲定时方案可被提供给组中的设备作为指令或指令集。指令可包括用于脉冲的定时的指令。指令也可包括用于同步时钟发生器的时钟信号的指令、用于设置曝光定时的指令、用于设置帧定时的指令、用于设置脉冲、曝光和/或帧的持续时间的指令、用于设置成像传感器中的曝光和/或帧定时的指令、用于设置成像传感器的其他配置的指令、用于定位设备的指令等。
根据当前公开的主题的示例，根据脉冲定时协调方法的一个实现，主从配置可用于设置多设备协调的脉冲定时方案并控制它，以及用于建立多设备协调深度感测组并控制它。协调脉冲定时的方法的主从实现的一个示例在图16中描述。然而，将认识到的是，其他可能的实现可用于在多个深度感测设备上协调脉冲定时。在一个示例中，可使用协调服务器或任何其他中央协调实体(假设通信延迟和滞后对于实现足够准确的定时足够小)。在另一示例中，协调和同步方法可基于对等通信。
现在参考图16，按照当前公开的主题的示例，图16是根据设置和控制基于主从关系的模型的一个可能的实现的深度感测设备中的协调脉冲定时的方法的流程图说明。
最初，第一深度感测设备可邀请第二深度感测设备加入多设备协调深度感测组(框1605)。根据当前公开的主题的示例，第一设备可包括能够用于建立与第二设备的连接的计算机程序和硬件组件。例如，在第一设备上短距离无线通信模块可用于在无线信道上传达连接请求。请求可被寻址至特定设备、设备的特定组(根据特定地址或根据设备的某一特征或特性等)，或者请求可用于在通信范围内的任何设备(可能在可加入多设备协调深度感测组的设备的数量上有限制)。
例如，第一设备可运行在发现模式中并可在某一通信范围内搜索支持协调深度感测或协作深度会话的其他设备。在一个示例中，仅被设置为允许发现的设备可由第一设备发现。第一设备可发起发现例程，并且如果第二设备许可发现并在范围内，则第一设备将发现第二设备并将发起握手或任何其他的配对例程。
在其他示例中，第一设备可发送邀请给任何所需的设备、某一区域(例如，通信范围)内的设备、某一列表(例如，社交网络好友列表)内的设备等。第二设备可通过接受它或拒绝它来响应于该邀请。响应可根据预定义的设置自动生成，或响应可基于来自第二设备的操作者的输入(或其缺少的)生成。
如果参与协调的脉冲定时组的邀请(1610框)没有被接受，则过程(至少相对于第二设备)结束(框1615)。如果邀请被接受，则第二设备发送确认消息返回至第一设备，并且可能显式地指示邀请被接受。当接收到位置响应时，第一设备可执行协调的脉冲定时方案设置例程。作为设置例程的部分，第一设备可从第二设备获取与第二设备上的脉冲定时有关的信息(1620)。
将指出的是，各种通信可在设备之间被交换，以便建立通信信道，并且保持它，以及用于提供对于确定协调的脉冲定时例程、发起它以及控制它所必要的信息。这样的通信可由专用计算机软件程序来发起和控制，如运行设备中一个或两个(假设两个通信设备)的应用。通信也可由运行在设备上的操作系统来发起和控制。在任何情况下，一个或两个设备的操作者可参与协调的脉冲定时例程的设置和/或实现，并且可做选择和设置各种参数，从而控制协调的脉冲定时例程的设置和/或实现的至少某些方面。进一步通过示例的方式，设置例程可能参与输入密码或密钥或者使用一些其他验证或授权，以能够实现设备的连接或配对。在认证和批准(如果需要)之后信道被建立，并且设备可交换对于设置、运行和控制协调的深度感测会话必要的信息。多设备协调深度感测组的成员之间的通信可被加密并且仅可由被访地址访问。在另一示例中，组内的通信可由组的任何成员访问，但不可由组外的实体访问。在还另一示例中，由组外的实体的访问需要由组的成员的显式授权，并且在另一示例中，这样的访问仅可由用作主控的组的成员授权。添加新成员至组可需要组的重新建立和重新计算协调的脉冲定时方案。在另一配置中，协调的脉冲定时方案可支持预定义数量的设备，并且这样的设备可动态地加入(和离开)多设备协调深度感测组，以及接收(或返回)关于它的曝光的分配和协调的时隙，只要组中的设备的数量不超过由协调的脉冲定时方案支持的设备的最大数量。
图16中的主从模型实现使用数据交换来搜集对于建立协调的脉冲定时方案必要的信息。然而，如以上所述，并且如以下将进一步详细描述的，在其他实现中，对于确定协调的脉冲定时方案所需要的一些或全部数据也可通过实施设置例程获取，其涉及激活深度感测设备并分析响应于由设备发射的脉冲生成的信号，以建立适当的协调的脉冲定时方案。
第一设备获取其自己的脉冲定时信息并计算协调的定时方案，以允许第一和第二设备具有协调的脉冲和曝光定时。定时方案可指示一些参考定时和时隙，该时隙被分配给参与协调的脉冲定时方案的设备中的每一个。
定时方案也可涉及同步帧定时。协调的脉冲定时方案可给每个设备分配协调的子帧时隙(框1625)。在一个示例中，子帧时隙可由从帧开始时间的特定偏移指示。分配的时隙的持续时间可被预定义或也可由被传达至组的成员的定时方案指示。在一些示例中，协调的脉冲定时方案被提供用于模型帧，并且在每帧处重复，直至会话终止或直至当前的方案由更新的协调的脉冲定时方案替代。
基于协调的脉冲定时方案的脉冲定时指令被提供给第二设备(框1630)，并且第一和第二设备根据协调的脉冲定时方案被协调操作(框1635)。框1625以及可能还有框1620(根据需要)可时常重复，以改变子帧时隙的分配、以补偿漂移和/或以允许附加设备加入多设备协调深度感测组。更新可由第一设备发起，然而，组中的任何设备和请求加入组的任何设备可通过与第一设备通信触发更新。
在图16中，其中两个设备加入的情况用于形成多设备协调深度感测组。然而应指出的是，多设备协调深度感测组中的设备的数量不限于两个，并且如果有多于两个的成员加入以形成组，设备中的一个可用作主控，并且其他设备可以是从动设备。
主/从设计能够以任何可能的方式完成。例如，主控可以是发起与第一从动设备(并且随后可添加更多的从动设备)之间的连接的设备。在另一示例中，主控设备的选择按照设备的特性或配置完成。例如，具有最多处理能力或最高电池水平的设备被选择为主控。在又一示例中，设备中的一个的操作者选择设备中(包括它自己)的哪一个将用作主控。在又一示例中，主控根据围绕场景或围绕感兴趣的对象的设备的位置被选择。在一个示例中，当感兴趣的对象是人的脸时，面部识别可用于建立哪个设备覆盖脸的前面的最大部分(或脸的特征的任何其他部分)，并且该设备被选择为主控。在另一示例中，在组中具有至其他设备最短的平均距离的设备被选择为主控。
存在各种已知的配对和信道设置程序，并且任何合适的程序可被使用。例如，组中的设备可以在无线连接上被配对和连接，如Wi-Fi、蓝牙或NFC。在其他情况下，如以太网的有线连接用作在其上设备被连接的通信信道。执行两个或更多个深度感测设备之间的发现、握手和信道设置的专用计算机软件也可被使用。
在一些情况下，在主控和/或从动设备上的用户可接收另一设备正寻求建立多设备协调深度感测组和建立与用户的设备的协调深度感测会话的通知。用户可利用接受消息或拒绝它(或忽略消息)来响应通信。交换代码可能是必要的，以授权和验证连接。
协调过程可以是配对和信道设置的部分，或可在配对和信道设置之后被实施为分开的操作。协调过程可基于同步协议和算法。在一个示例中，参考广播同步可用在协调过程中。可使用如IEEE 1488(也称作网络时间协议或NTP)或IEEE 1588(精确时间协议或PTP)的协议。
现在参考图17，按照当前公开的主题的示例，图17提供了基本操作的示例，其可以是用于建立协调的脉冲定时方案所需的且被实施为建立协调的脉冲定时方案的部分。根据当前公开的主题的示例，作为建立协调的脉冲定时方案的部分(框1702)。过程1702参考单个设备来描述，但可在多设备协调脉冲定时组的每个成员上被实施。如果主从模型用于设置协调的脉冲定时方案，主控可获取(或从动设备可提供)来自从动设备中的每个的必要信息，并且在主控内信息从主控的内部资源和组件中被搜集。应认识到的是，在图17中采集的信息是用于协调的脉冲定时方案的计算所获取和在该计算中使用的信息类型的一个示例，并且其他类型的信息可被获取，除了在图17中的示例中采集的信息或作为其替代方案，这取决于组中的设备的实现、内部配置、组中的设备操作的附加方面的协调等。
作为建立协调的脉冲定时的部分，设备之间的时钟偏移可被获取(框1705)。脉冲定时基于由每个设备中的时钟发生器生成的特定时钟信号。在不同的时钟发生器之间可能有偏移，因此作为协调握手的部分，设备之间的时钟偏移被确定。如果主从模型用于建立协调的脉冲定时，则在主控和从动设备中的每一个之间的时钟偏移被确定。
IR脉冲时间戳也被获取(框1710)。IP脉冲时间戳指示何时脉冲点火。IR脉冲时间戳能够以各种形式被提供。例如，IR脉冲定时可相对于帧的定时被提供(作为从帧的开始的特定偏移)，在这种情况下，帧速率或帧定时也可被获取(框1720)。
脉冲宽度也可被需要(框1715)。在许多有源深度感测设备中，脉冲持续时间可被修改。修改脉冲宽度可用于控制到其被投射到其上的能量的量。在一些情况下，修改脉冲宽度可用于预防过渡曝光和/或曝光不足，以实现期望水平的对比度。协调的脉冲定时方案应考虑用在每个设备中的脉冲宽度。协调的脉冲定时方案可指定待由每个设备使用的脉冲宽度，并且这样的脉冲宽度可与设备先前用于方案的实现的脉冲宽度相同，或其可不同于设备先前用于方案的实现的脉冲宽度。
每个设备中的帧速率也可被获取(框1720)。如以上所述，在一些情况下，需要获得帧速率以便建立协调的定时方案，例如，当脉冲定时以如从帧开始点偏移的形式被给定。在其他情况下，帧定时和帧速率是可选的，这是由于在多设备协调脉冲定时组的成员上的协调的脉冲定时可通过直接调整脉冲定时来实现。在协调的脉冲定时方案的实现的示例中，当使用帧和帧定时时，帧的定时和持续时间可在多设备协调脉冲定时组的所有成员上被同步，并且脉冲定时可通过对协调的脉冲定时组的每个成员提供协调的脉冲偏移时间来协调。
除了以上提到的定时特性以外，作为建立协调的脉冲定时方案的部分，各种不确定间隔参数可被获取(框1725)。不确定参数可与同步的不准确性和用于建立协调的脉冲定时方案且实施它的协调机制关联。不确定参数可表示在成员上的定时的期望的真实方差(的评估)。例如，不确定参数可包括：时间戳精度、曝光偏移精度和漂移估计以及同步或使用的协调协议的以及过程中涉及的物理接口和通信信道的变化性的度量。例如，如果使用PTP协议，则除了时间戳精度、曝光偏移精度和漂移估计之外，表示PTP变化性的参数可被使用。
在以上的示例中，描述的焦点在协调的脉冲定时方案设置例程的实现上，其中时钟和脉冲定时(和另外有关的信息)的共享是用于建立多设备协调深度感测组的每个成员中的脉冲定时的基础。现在描述协调的脉冲定时方案设置例程的另一示例，其基于激活待被操作为多设备协调深度感测组的设备(可能一次一个配对)、处理投射的光的反射部分的图像(或样本)以及修改至少一个设备的帧速率，直至实现设备的脉冲定时之间所需的偏移。现在提供该实现的细节。
现在参考图18，根据当前公开的主题的示例，图18是同步多个3D成像设备的方法的流程图说明。通过示例的方式，在图18中示出且在本文中参考图18描述的方法可由多个(两个或更多个)设备来实现，如在图1-5的任何一个中示出的设备100或分别在图6和图7中示出的设备600和700。然而，将认识到的是，在图18中示出且在本文中参考图18描述的方法可由任何合适的计算机化的设备来实现。
在图18中，以及在以下提供的图18的描述中，假设主控和从动设备各自从帧的开始在给定时间(或在固定的偏移处)点火它们的脉冲。方法在一个设备上的一个方向上平移帧的持续时间，并且使该深度感测设备(例如，从动设备)的脉冲定时相对于其他深度感测设备(例如，主控)的定时移动。当两个设备点火的脉冲的定时完全一致时，两个设备上的帧速率之间的差值被对特定数量的帧保持，直至特定脉冲定时偏移被获取为止，此时，第一设备的帧速率被修改回初始帧速率，并且当两个设备在相同的帧速率处被操作时脉冲的定时从而被协调。当协调丧失或恶化(例如，由于漂移)或作为例程时，该过程可重复。将认识到的是，类似的主从实现可用于同步帧定时(当每个帧开始时的定时)，并且假设共同的帧速率(和持续时间)，在每个深度感测设备上的脉冲定时可通过设置每个设备上的曝光定时(和当脉冲点火时的定时)作为帧的开始的偏移被协调。
根据当前公开的主题的示例，当形成或重新配置多设备深度感测组时，多个深度感测设备中的一个可被选择并配置未至少在协调的脉冲定时方案设置例程期间作为主控深度感测设备来操作。至少一个其他深度感测设备可被选择并配置为作为从动深度感测设备来操作(框1805)。为了方便起见，描述参考单个从动深度感测设备，然而，本领域中的这些熟练的技术人员可容易地将本文中所提供的描述推断到其中超过两个深度感测设备被提供的情景，并且本文描述的脉冲协调过程需要被调整以允许更多数量的深度感测设备的协调。
可选地，根据当前公开的主题的示例的方法可包括在协调设置模式处设置主控和从动深度感测设备(框1810)。通过示例的方式，协调设置模式可包括在协调设置的实施期间定位主控和从动深度感测设备在相对于彼此的恒定的相对位置上。协调设置模式也可包括固定或使用固定的场景对象。
根据当前公开的主题的示例，作为协调设置的部分，从动深度感测设备的帧速率可在第一方向上被调整或修改(框1815)。例如，假设(在正常操作模式期间)30fps的基准帧速率，在协调设置模式期间，从动深度感测设备的帧速率可增加至30.1fps。将认识到的是，在此提供的值仅是示例，并且不意味着限制当前公开的主题的范围。在另一示例中，从动设备的帧速率可降低。
还进一步按照当前公开的主题的示例，主控深度感测设备的帧速率可被保持在基准帧速率处(框1820)。将指出的是，如果基准帧速率是主控深度感测设备中的现有或默认配置，则可能不需要框1820。
继续图18的描述，在每个帧处，主控深度感测设备捕获从场景反射的光并评估指示全脉冲重叠的光学图样(框1825)。当由从动设备发射的脉冲完全与由主控设备投影的脉冲重叠时，完全脉冲重叠出现。重叠的程度可从由主控和从动设备的投影仪投射的光的反射部分被估计。将认识到的是，在此使用的这个术语完全重叠可意味着完全重叠范围，其中特定容差范围应用于绝对的完全重叠帧分布，例如，以允许各种相关的条件和/或装备以及光学值中的类似漂移，并且该术语完全重叠应据此被解释。
通过示例的方式，成像的帧的处理和光学图样的估计可包括成像的帧直方图的处理。将认识到的是，深度感测设备的脉冲之间的重叠越大(特别当脉冲持续时间相等时)，投射的光的反射部分的强度就越大。将认识到是，为了正确地识别强度水平中的峰值，至少需要几个帧。
还进一步通过示例的方式，成像的直方图的处理可包括估计亮度测量结果(例如，平均亮度值、类似的统计亮度测量结果)。还进一步通过示例的方式，成像的直方图的处理可包括搜索平均亮度峰值。将认识到的是，在当前公开的主题的一些示例中，平均亮度峰值可指示完全(或几乎完全)脉冲重叠(在给定的帧期间，图样由主控和从动深度感测设备中的每一个在完全重叠曝光持续时间或脉冲持续时间周期期间投射)。还进一步通过示例的方式，平均亮度峰值可指示最接近的完全脉冲重叠，例如，如果在一系列平均亮度水平逐渐增加的帧之后检测到平均亮度水平降低，可推断先前帧提供峰值亮度值。
当(例如，由主控深度感测设备)在成像的帧中检测到完全脉冲重叠时，从动深度感测设备的帧速率可在与第一方向相对的第二方向上被调整(例如，降低)(框1830)。例如，假设(在正常操作模式期间)30fps的基准帧速率，在协调模式期间，一旦确定完全脉冲重叠出现，则从动3D成像设备的帧速率可降低至29.9fps。将认识到的是，在此提供的值仅是示例，并且不意味着限制当前公开的主题的范围。此外，帧速率的修改的方向在检测到完全重叠时是不受限的，并且帧速率可在任何所需的方向上被调整，以实现脉冲协调或目标脉冲定时偏移。
在又一示例中，使用一系列帧捕获以检测两个深度感测设备的脉冲何时重叠的协调设置可包括，配置一个(或两个设备)以改变脉冲点火的定时到某一点，其将提供两个深度感测设备的脉冲的点火之间的所需偏移，并且该操作可替代框1830-1840。换句话说，脉冲的点火和捕获的信号的处理用于检测何时有投影的完全重叠，由于当两个深度感测设备的脉冲定时完全重叠时的定时的指示可用于确定何时两个设备被同步，并且偏移可通过重新编程脉冲被发射在设备的任一个或仅一个上时的定时来设置，以达到所需偏移(和协调)。
现在继续图18的描述，两个深度感测设备能够被操作一特定时段，在其期间，主控深度感测设备保持基准帧速率，并且从动深度感测设备处于降低(或增加)的帧速率中，直至实现主控和从动深度感测设备上的脉冲的定时之间的特定偏移(框1835)。将认识到的是，协调的脉冲定时可通过如下操作来获取：在特定数量的帧，操作两个3D成像设备，主控深度感测设备保持基准帧速率而从动深度感测设备处于降低的帧速率中。
根据当前公开的主题的示例，第一深度感测设备上的脉冲的定时和其脉冲与第一设备进行协调的第二深度感测设备上的脉冲的定时之间的偏移可以是毫秒的量级，例如6ms。
确定和设置协调的脉冲定时方案的以上实现参考结构光投影方法被描述，其使用已知图样的投影至场景上和投射的图样的反射部分的图像，以提取来自场景的深度信息。然而，该实现也可用于设置协调的脉冲定时方案，其使用另一方法编码光，包括TOF深度感测方法。
现在参考图19，示出了可能的GUI屏幕截图，该GUI屏幕截图与多设备协调深度感测组中的协调的脉冲定时方案的设置和实现关联。屏幕1902示出了当第二深度感测设备被检测到时的第一深度感测设备的显示屏幕。第一深度感测设备的屏幕示出了第二深度感测设备在第一设备附近被检测到的指示。如以上所述，仅被配置为允许与另一设备连接以及允许和支持协调的深度感测的设备是可检测的。
在屏幕1904上，用户被呈现有连接至另一设备以建立多设备协调深度感测组的选项。附加的数据可提供给用户，其可辅助用户做出决定或设置配置。例如，用户的设备和检测到的设备之间的距离可以被呈现，可能具有另一设备的位置的指示(例如，在地图上)。
屏幕1906示出了在持续进行的协调的和协作的深度感测会话期间的显示器的特征。示出了相对于场景或相对于感兴趣的对象的参与协调的和协作的深度感测会话的位置或设备，以及也示出了由每个设备覆盖的场景的部分。该显示器特征向用户给出他们的组合覆盖范围的感觉，并允许用户移动他们的设备和扫描那些深度信息对于其还是不可用的场景的区域或感兴趣的对象。覆盖范围特征可帮助设备实现完全的覆盖范围(或尽可能宽广的覆盖范围)。
也将理解的是，根据本发明的系统可以是适当地编程的计算机。同样，本发明考虑计算机程序作为通过用于执行本发明方法的计算机是可读的。本发明还考虑机器可读存储器，其明确地体现由用于执行本发明方法的机器可执行的指令的程序。

Claims (19)

1.一种深度感测系统，包括：
第一深度感测设备，包括第一投影仪和第一图像传感器，其中，所述第一深度感测设备被配置为以第一帧速率操作；
第二深度感测设备，包括第二投影仪和第二图像传感器，其中，所述第二深度感测设备被配置为以第二帧速率操作；
处理器，适配为配置所述第一深度感测设备和所述第二深度感测设备，使得在所述第一深度感测设备的单个帧中：
所述第一投影仪在第一投影持续时间期间投射第一投影；
所述第二投影仪在连续于所述第一投影持续时间的第二投影持续时间期间投射第二投影；
所述第一图像传感器在第一曝光周期期间捕获包括所述第一投影的反射的图像；并且
所述第二图像传感器在第二曝光周期期间捕获包括所述第二投影的反射的图像。
2.根据权利要求1所述的系统，其中，所述处理器适配为在所述第一投影持续时间与所述第二投影持续时间之间分配缓冲区。
3.根据权利要求1所述的系统，其中，所述第一深度感测设备包括第一时钟发生器，并且所述第二深度感测设备包括第二时钟发生器，并且其中，所述处理器被配置为将所述第二时钟发生器与所述第一时钟发生器同步。
4.根据权利要求1所述的系统，其中，所述处理器被配置为将所述第二深度感测设备上的帧定时的开始与所述第一深度感测设备上的帧定时的开始同步，并且将所述第一投影和所述第二投影中的每一个的定时设置为从帧定时的开始的不同偏移。
5.根据权利要求1所述的系统，其中，所述处理器适配为配置所述第一深度感测设备和所述第二深度感测设备，使得所述第一投影基本上发生在所述第一深度感测设备的帧的开始处，并且在所述第一深度感测设备的帧期间的每个后续投影在等于所有先前投影加上任何两个投影之间的缓冲区的持续时间的点处开始。
6.根据权利要求1所述的系统，其中，所述处理器在所述第一深度感测设备中实施，并且其中，所述第一深度感测设备用作主控设备，并且所述第二深度感测设备用作从动设备。
7.根据权利要求6所述的系统，其中，所述处理器被配置为向所述从动设备发送指令以根据所述第一投影的定时和持续时间设置所述第二投影的定时。
8.根据权利要求1所述的系统，其中，所述第一曝光的定时与所述第一投影协调，并且所述第二曝光的定时与所述第二投影协调。
9.根据权利要求1所述的系统，其中，所述处理器适配为配置所述第一深度感测设备和所述第二深度感测设备，使得在所述第一深度感测设备的单个帧中：所述第一投影和所述第二投影用于将光投影到场景，并且所述第一投影和所述第二投影的每一个的反射部分的图像被捕获。
10.根据权利要求1所述的系统，其中，所述第一帧速率和所述第二帧速率相等。
11.一种控制深度感测系统的计算机实施的方法，包括：
使用处理器来配置以下中的每一个：
第一深度感测设备，包括第一投影仪和第一图像传感器，其中，所述第一深度感测设备被配置为以第一帧速率操作；
第二深度感测设备，包括第二投影仪和第二图像传感器，其中，所述第二深度感测设备被配置为以第二帧速率操作；
使得在所述第一深度感测设备的单个帧内：
所述第一投影仪在第一投影持续时间期间投射第一投影；
所述第二投影仪在连续于所述第一投影持续时间的第二投影持续时间期间投射第二投影；
所述第一图像传感器在第一曝光周期期间捕获包括所述第一投影的反射的图像；并且
所述第二图像传感器在第二曝光周期期间捕获包括所述第二投影的反射的图像。
12.根据权利要求11所述的方法，还包括使用所述处理器在所述第一投影持续时间与所述第二投影持续时间之间分配缓冲区。
13.根据权利要求11所述的方法，还包括使用所述处理器将所述第二深度感测设备的第二时钟发生器与所述第一深度感测设备的第一时钟发生器同步。
14.根据权利要求11所述的方法，还包括使用所述处理器将在所述第二深度感测设备上的帧定时的开始与所述第一深度感测设备上的帧定时的开始同步，并且将所述第一投影和所述第二投影中的每一个的定时设置为从帧定时的开始的不同偏移。
15.根据权利要求11所述的方法，还包括使用所述处理器配置所述第一深度感测设备和所述第二深度感测设备，使得所述第一投影基本上发生在所述第一深度感测设备的帧的开始处，并且在所述第一深度感测设备的帧期间的每个后续投影在等于所有先前投影加上任何两个投影之间的缓冲区的持续时间的点处开始。
16.根据权利要求11所述的方法，其中，所述处理器在所述第一深度感测设备中实施，并且其中，所述第一深度感测设备用作主控设备，并且所述第二深度感测设备用作从动设备。
17.根据权利要求11所述的方法，其中，在所述第一深度感测设备的单个帧中：所述第一投影和所述第二投影用于将光投影到场景，并且所述第一投影和所述第二投影的每一个的反射部分的图像被捕获。
18.根据权利要求11所述的方法，其中，所述第一帧速率和所述第二帧速率相等。
19.一种操作多个深度感测设备的方法，包括：
设置从动深度感测设备的帧速率，使得其不同于主控深度感测设备的帧速率；
检测由所述从动深度感测设备投射的图样和由所述主控深度感测设备投射的图样之间的完全重叠发生在其中的帧；以及
以不同于所述主控深度感测设备的帧速率的帧速率操作所述从动深度感测设备，直至达到所述主控深度感测设备上和所述从动深度感测设备上的帧的定时之间的预定义的间隔，并且将所述从动深度感测设备的帧速率设置为等于所述主控深度感测设备上的帧速率的帧速率。
CN201580013759.6A 2014-01-19 2015-01-19 深度感测设备中的定时脉冲 Active CN106104300B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL230517 2014-01-19
IL230517A IL230517A0 (en) 2014-01-19 2014-01-19 Synchronization of 3D imaging devices
PCT/IL2015/050062 WO2015107529A1 (en) 2014-01-19 2015-01-19 Timing pulses in a depth sensing device

Publications (2)

Publication Number Publication Date
CN106104300A CN106104300A (zh) 2016-11-09
CN106104300B true CN106104300B (zh) 2019-06-28

Family

ID=50690341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580013759.6A Active CN106104300B (zh) 2014-01-19 2015-01-19 深度感测设备中的定时脉冲

Country Status (4)

Country Link
US (1) US10311588B2 (zh)
CN (1) CN106104300B (zh)
IL (1) IL230517A0 (zh)
WO (1) WO2015107529A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL230517A0 (en) 2014-01-19 2014-04-30 Mantisvision Ltd Synchronization of 3D imaging devices
US10699476B2 (en) * 2015-08-06 2020-06-30 Ams Sensors Singapore Pte. Ltd. Generating a merged, fused three-dimensional point cloud based on captured images of a scene
US10338201B2 (en) * 2015-09-17 2019-07-02 Qualcomm Incorporated Timing synchronization of LIDAR system to reduce interference
US10397546B2 (en) * 2015-09-30 2019-08-27 Microsoft Technology Licensing, Llc Range imaging
US10523923B2 (en) 2015-12-28 2019-12-31 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
US10462452B2 (en) * 2016-03-16 2019-10-29 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
US10306203B1 (en) * 2016-06-23 2019-05-28 Amazon Technologies, Inc. Adaptive depth sensing of scenes by targeted light projections
JP6772630B2 (ja) * 2016-07-29 2020-10-21 セイコーエプソン株式会社 三次元計測装置及び三次元物体認識方法
TWI678121B (zh) 2016-10-20 2019-11-21 宏達國際電子股份有限公司 用於一燈塔定位系統之輔助裝置
US10712561B2 (en) 2016-11-04 2020-07-14 Microsoft Technology Licensing, Llc Interference mitigation via adaptive depth imaging
KR101938668B1 (ko) * 2017-05-29 2019-01-15 엘지전자 주식회사 청소기 및 그 제어방법
CN108398847B (zh) * 2018-03-27 2020-04-28 维沃移动通信有限公司 一种激光投射装置及移动终端
US10999524B1 (en) 2018-04-12 2021-05-04 Amazon Technologies, Inc. Temporal high dynamic range imaging using time-of-flight cameras
US10674063B2 (en) 2018-06-20 2020-06-02 Amazon Technologies, Inc. Synchronizing time-of-flight cameras
US10708484B2 (en) 2018-06-20 2020-07-07 Amazon Technologies, Inc. Detecting interference between time-of-flight cameras using modified image sensor arrays
US10681338B1 (en) 2018-07-24 2020-06-09 Amazon Technologies, Inc. Detecting interference in depth images captured using overlapping depth cameras
EP3827532A1 (en) 2018-07-25 2021-06-02 Continental Automotive GmbH Clock topology in an ethernet network
US10855896B1 (en) 2018-12-13 2020-12-01 Facebook Technologies, Llc Depth determination using time-of-flight and camera assembly with augmented pixels
US10791282B2 (en) 2018-12-13 2020-09-29 Fenwick & West LLP High dynamic range camera assembly with augmented pixels
US10797090B2 (en) 2019-02-27 2020-10-06 Semiconductor Components Industries, Llc Image sensor with near-infrared and visible light phase detection pixels
US11223855B2 (en) * 2019-09-18 2022-01-11 Loop Now Technologies Inc. System and method of real-time video overlaying or superimposing display
JP7235638B2 (ja) * 2019-10-04 2023-03-08 株式会社日立エルジーデータストレージ 測距装置および測距システム
US10902623B1 (en) 2019-11-19 2021-01-26 Facebook Technologies, Llc Three-dimensional imaging with spatial and temporal coding for depth camera assembly
US11194160B1 (en) 2020-01-21 2021-12-07 Facebook Technologies, Llc High frame rate reconstruction with N-tap camera sensor

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101013159A (zh) * 2006-01-30 2007-08-08 富士通株式会社 目标探测设备和系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7280674B2 (en) 2001-06-05 2007-10-09 University Of Florida Research Foundation Device and method for object illumination and imaging using time slot allocation based upon road changes
US7697748B2 (en) * 2004-07-06 2010-04-13 Dimsdale Engineering, Llc Method and apparatus for high resolution 3D imaging as a function of camera position, camera trajectory and range
US8355117B2 (en) * 2005-12-21 2013-01-15 Ecole Polytechnique Federale De Lausanne Method and arrangement for measuring the distance to an object
JP5635723B2 (ja) * 2006-01-30 2014-12-03 富士通株式会社 目標検出装置およびシステム
CN103776392B (zh) 2006-11-21 2017-03-01 曼蒂斯影像有限公司 三维几何建模和三维视频内容创建
US8090194B2 (en) 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
US8901541B2 (en) * 2009-04-07 2014-12-02 Rohm Co., Ltd. Photoelectric conversion device and image pick-up device
US8953094B2 (en) 2011-11-10 2015-02-10 Apple Inc. Illumination system
CN113640817A (zh) 2012-03-26 2021-11-12 螳螂慧视科技有限公司 三维照相机及其投影仪
KR102070778B1 (ko) * 2012-11-23 2020-03-02 엘지전자 주식회사 Rgb-ir 센서 및 이를 이용한 3차원 영상 획득 방법 및 장치
IL230517A0 (en) 2014-01-19 2014-04-30 Mantisvision Ltd Synchronization of 3D imaging devices
KR102486385B1 (ko) * 2015-10-29 2023-01-09 삼성전자주식회사 깊이 정보 획득 장치 및 방법
JP2017085414A (ja) * 2015-10-29 2017-05-18 Smk株式会社 撮像システム、車両用灯具及び車両

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101013159A (zh) * 2006-01-30 2007-08-08 富士通株式会社 目标探测设备和系统

Also Published As

Publication number Publication date
WO2015107529A1 (en) 2015-07-23
CN106104300A (zh) 2016-11-09
IL230517A0 (en) 2014-04-30
US10311588B2 (en) 2019-06-04
US20170323455A1 (en) 2017-11-09

Similar Documents

Publication Publication Date Title
CN106104300B (zh) 深度感测设备中的定时脉冲
US10477149B2 (en) Holographic video capture and telepresence system
CN107407559B (zh) 距离图像获取装置以及距离图像获取方法
EP2703836B1 (en) TOF illuminating system and TOF camera and method for operating, with control means for driving electronic devices located in the scene
US10328342B2 (en) Magic wand methods, apparatuses and systems for defining, initiating, and conducting quests
US9692756B2 (en) Magic wand methods, apparatuses and systems for authenticating a user of a wand
US9001226B1 (en) Capturing and relighting images using multiple devices
US9628843B2 (en) Methods for controlling electronic devices using gestures
US9247238B2 (en) Reducing interference between multiple infra-red depth cameras
US9625994B2 (en) Multi-camera depth imaging
TW202004421A (zh) 用於在ｈｍｄ環境中利用傳至ｇｐｕ之預測及後期更新的眼睛追蹤進行快速注視點渲染
JP2024020489A (ja) 仮想、拡張、および複合現実システムのための深度感知技法
CN108027660A (zh) 用于使用mems投影仪来确定hmd或另一控制器的光电传感器的取向的系统和方法
CN107656635A (zh) 视觉系统及控制视觉系统的方法
US20170080332A1 (en) Magic wand methods, apparatuses and systems for conducting wand duels
CN110191266B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
US20160310838A1 (en) Magic wand methods, apparatuses and systems
CN108475180A (zh) 在多个显示区域之间分布视频
CN103501869A (zh) 手动和基于相机的游戏控制
CN109690540A (zh) 虚拟环境中的基于姿势的访问控制
CN110213413A (zh) 电子装置的控制方法及电子装置
WO2014075026A1 (en) Remote control using depth camera
CN110335303A (zh) 图像处理方法和装置、及存储介质
CN105468139A (zh) 位置检测装置、投影仪以及位置检测方法
CN105164617B (zh) 自主nui设备的自发现

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210513

Address after: Room 311, 3rd floor, 704, 706, 708 Zhennan Road, Putuo District, Shanghai

Patentee after: Mantis Wisdom Technology Co.,Ltd.

Address before: Peta Tikva Israel

Patentee before: MANTISVISION Ltd.

TR01 Transfer of patent right