CN106461783B - 使用时间共享的自动的多个深度相机同步 - Google Patents

使用时间共享的自动的多个深度相机同步 Download PDF

Info

Publication number
CN106461783B
CN106461783B CN201580032106.2A CN201580032106A CN106461783B CN 106461783 B CN106461783 B CN 106461783B CN 201580032106 A CN201580032106 A CN 201580032106A CN 106461783 B CN106461783 B CN 106461783B
Authority
CN
China
Prior art keywords
light
scene
sensing device
depth
transmitter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580032106.2A
Other languages
English (en)
Other versions
CN106461783A (zh
Inventor
S·R·戈马
K·M·阿塔纳索夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN106461783A publication Critical patent/CN106461783A/zh
Application granted granted Critical
Publication of CN106461783B publication Critical patent/CN106461783B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/38—Releasing-devices separate from shutter
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/38—Transmitter circuitry for the transmission of television signals according to analogue transmission standards
    • H04N5/40—Modulation circuits
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Exposure Control For Cameras (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Stroboscope Apparatuses (AREA)
  • Shutters For Cameras (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)

Abstract

各方面涉及一种用于捕获包含物体的深度信息的图像的深度感测系统。在一个实施例中，与用于捕获包含物体的深度信息的图像的多个深度感测装置结合使用的深度感测装置包括：近红外发射器，其包括能够产生近红外光束的激光器、定位成从所述激光器接收发射的光束的衍射光学元件、所述衍射光学元件和准直透镜；以及近红外接收器，其在相对位置处耦合到所述发射器，所述接收器包括传感器组合件，所述传感器组合件能够产生所述所接收的光的图像，所述深度感测装置经配置以在不同于与所述深度感测装置通信的装置的两个或更多个发射器‑接收器对中的任何其它发射器‑接收器对的时间段期间发射和接收近红外光束。

Description

使用时间共享的自动的多个深度相机同步
技术领域
本发明涉及包括深度相机的成像系统和方法。具体地，本发明涉及使得多个深度相机能够同时使用而没有干扰的系统和方法。
背景技术
主动感测可以用于确定三维模型。主动感测系统包括例如飞行时间系统和结构化光系统。为了提取物体的三维(3D)模型，可以使用多个主动感测装置。深度感测系统(也称为深度相机)的一些实施例使用红外(IR)发射器将不可见的IR结构化光图案投射到环境中并投射到物体上。从物体反射的IR辐射由深度感测系统的IR传感器或相机检测。环境中的物体导致相机所看到的结构化光图案的失真，结构化光图案与光源相比是离轴的，并且这些失真可以用于解析关于场景的深度信息。
具有单个相机的深度感测系统具有有限的视场，并且从单个视点提供深度信息，使得靠近深度相机的物体可能遮挡环境的大部分。扩展可以映射的环境区域的一个解决方案是使用多于一个的IR深度相机。这从不同的视角提供了场景的视图，并且使得能够形成物体的360度模型。然而，在某些配置中，在主动感测中使用的多个装置可能彼此干扰。此外，在结构化光图案重叠的情况下，每个IR深度相机的精度被降低。
因此，若有克服这些问题的深度感测系统将是有利的。下面描述的实施例不限于解决已知IR深度相机系统的任何或所有缺点的实施方案。
发明内容
深度感测通常在较低的成像分辨率下进行。然而，在成像应用中使用的成像装置(光源/接收器)的数量越多，重建的3D模型的潜在质量通常越好。对于用于深度感测的技术(例如，结构化光或飞行时间(TOF))，当使用多个深度成像装置(例如，每个装置包括光源(例如激光器)和成像装置(例如，相机))时，各个深度成像装置可能彼此干扰，例如，在相机全部相同的情况下。在一个创新方案中，可以控制光源中的激光器以产生脉冲光(图案)。可以基于例如激光峰值功率来调整脉冲的持续时间。如果需要特定的帧速率，则多个相机可以通过以全帧的小部分同时发送和接收来共享例如1/帧速率的时间量。然后可以产生图像以用于制作物体的3D模型，而在多个深度成像装置之间没有干扰。
一种创新方案包括一种深度感测装置，其用于捕获包含场景的深度信息的图像并且用于包括至少一个其它深度感测装置的深度感测系统中。所述深度感测装置包括：发射器，其能够在场景上投射光，所述发射器包括能够产生包括一系列激光脉冲的光束的激光器，每个脉冲具有脉冲长度，并且所述一系列脉冲以脉冲频率产生；接收器，其以已知的相对定向耦合到所述发射器，所述接收器包括快门和传感器组合件，所述传感器组合件能够基于感测由所述发射器投射并从所述场景反射的光来产生图像。所述深度感测装置还包括控制器，控制器包括处理器，所述控制器耦合到所述发射器和所述接收器，所述控制器经配置以：使用所述接收器确定所述场景中的光的存在，控制所述一系列激光脉冲的脉冲长度，控制曝光窗口何时开始，在所述曝光窗口期间，激活发射器以将光投射在所述场景上，并且激活接收器以开始感测从所述场景反射的光，基于从所述至少一个其它深度感测装置确定的所述场景上的光的存在来控制所述曝光窗口的开始和所述脉冲长度，使得所述曝光窗口在时间上不同于所述系统中的至少一个其它深度感测装置中的任何其它深度感测装置照射所述场景的时间。在一个方面中，所述激光器能够产生近红外(NIR)光束，所述发射器还包括定位成接收从所述激光器发射的所述NIR光束的光学元件，所述光学元件包括多个特征，所述多个特征经配置以当所述NIR光束通过所述光学元件传播时产生已知的结构化光图案，并且所述控制器还经配置以使用所述NIR接收器确定所述场景中指示结构化光图案的NIR光的存在。在另一方面中，所述控制器还经配置以如果所述控制器确定所述场景上无指示结构化光图案的NIR光的存在，则激活所述发射器以在所述场景上投射结构化光图案，并且调整所述快门以与所述NIR光束的脉冲长度同步。在另一方面中，所述控制器还经配置以如果所述控制器确定指示所述场景上结构化光图案的NIR光的存在，则延迟所述发射器产生NIR光束持续延迟时段，并且在所述延迟时段结束时再次检查指示所述场景上结构化光图案的NIR光的存在。
在另一方面中，所述多个特征包括多个衍射光学特征。在另一方面中，所述发射器包括飞行时间(TOF)发射器。在另一方面中，所述快门包括卷帘快门，且其中在所述曝光时间期间，当所述场景被所述发射器投射的光照射时，所述控制器激活所述卷帘快门以扫描整个所述场景。在另一方面中，所述控制器经配置以在不与所述至少一个其它装置或另一同步系统通信的情况下确定曝光窗口。在另一方面中，所述控制器还经配置以基于所确定的所述场景中的光的存在来调整所述脉冲频率，使得所述发射器在时间上不同于所述至少一个深度感测装置中的任何其它深度感测装置照射所述场景的时间的曝光窗口期间将光投射在所述场景上。
另一种创新方案包括一种在深度感测装置上操作的方法，所述深度感测装置用于在包括至少两个深度感测装置的深度感测系统中捕获包含场景的深度信息的图像，所述方法包括：使用传感器检测从场景反射的光，所述光指示所述场景正由深度感测装置照射。如果没有检测到来自所述场景的光，则所述方法可以激活所述深度感测装置的发射器以在曝光时间期间将光投射到所述场景上，并且激活所述深度感测装置的快门以在所述曝光窗口期间从所述光的反射捕获信息，所投射的光包括具有脉冲长度和脉冲频率的一系列脉冲。如果检测到来自所述场景的光，则所述方法可以将所述深度感测装置的快门调整为检测到的激光脉冲长度，并且再次感测来自所述场景的光。如果再次检测到光，则所述方法可以延迟曝光窗口的开始，在所述曝光窗口期间，所述深度感测装置的所述发射器将光投射在所述场景上，所述深度感测装置的所述快门从来自所述场景的光的反射捕获信息，并且迭代地重复感测光是否存在于所述场景上并且延迟曝光窗口的开始直到没有检测到光为止。如果没有检测到来自所述场景的光，则所述方法可以激活所述发射器和所述接收器持续所述曝光窗口，以一系列脉冲在所述场景上投射光，所述一系列脉冲具有脉冲频率，并且每个脉冲具有脉冲长度，并且使用所述接收器从所述场景检测光投射的光。在所述方法的一个方面中，所述发射器产生近红外(NIR)光束，所述发射器包括定位成接收从所述激光器发射的NIR光束的光学元件，所述光学元件包括多个特征，所述多个特征经配置以当所述NIR光束通过所述光学元件传播时产生已知的结构化光图案，并且从所述场景检测光包括使用所述接收器检测指示所述场景中结构化光图案的NIR光的存在。在所述方法的一个方面中，所述控制器在不与所述至少一个其它装置或另一同步系统通信的情况下确定所述曝光窗口。在另一方面中，所述方法可以基于所确定的所述场景中的光的存在来调整所述脉冲频率，使得所述发射器在时间上不同于所述至少一个深度感测装置中的任何其它深度感测装置照射所述场景的时间的曝光窗口期间将光投射在所述场景上。
另一种创新方案包括一种近红外(NIR)深度感测装置，其用于捕获包含场景的深度信息的图像并且用于包括至少一个其它深度感测装置的深度感测系统中。所述深度感测装置包括能够在所述场景上投射NIR结构化光图案的NIR发射器，所述NIR发射器包括能够产生具有脉冲长度的NIR光束的激光器，以及定位成接收从所述激光器发射的NIR光束的光学元件，所述光学元件包括多个特征，所述多个特征经配置以当所述NIR光束通过所述光学元件传播时产生已知的结构化光图案。所述深度感测装置还可包括：以已知的相对定向耦合到所述NIR发射器的NIR接收器，所述NIR接收器包括快门和能够从在所述场景中感测到的NIR结构化光图案产生图像的传感器组合件；以及包括处理器的控制器，所述控制器耦合到所述NIR发射器和所述NIR接收器，所述控制器经配置以使用所述NIR接收器来确定NIR光的存在，所述控制器还经配置以确定激活所述NIR发射器并用所述结构化光图案照亮所述场景并且激活快门持续曝光时间以从所述场景中的所述结构化光图案的反射捕获信息的时间，以及激活所述发射器并且基于确定所述场景中所述NIR光的存在来激活快门的时间，使得在不同于所述系统中所述至少一个其它深度感测装置中的任何其它深度感测装置用NIR光照射所述场景的时间的时间段期间激活所述发射器和快门。在一些实施例中，所述控制器还经配置以如果所述控制器确定所述场景中无NIR光的存在，则激活所述发射器以投射结构化光图案并且调整所述快门以与所述NIR光的脉冲长度同步。在一些实施例中，所述器还经配置以如果所述控制器确定(指示场景上结构化光图案)的NIR光的存在，则延迟所述NIR发射器产生NIR光束持续延迟时段，并且在所述延迟时段结束时再次检查指示所述场景上结构化光图案的NIR光的存在。
另一种创新方案包括一种深度感测装置，其用于捕获包含场景的深度信息的图像并且用于包括至少一个其它深度感测装置的深度感测系统中。在一些实施例中，所述深度感测装置包括：用于在场景上投射光的装置，所述光投射装置经配置以产生包括一系列激光脉冲的激光光束，每个脉冲具有脉冲长度，并且所述一系列脉冲以脉冲频率产生；以及用于接收以已知相对定向耦合到所述投射装置的光的装置，所述光接收装置经配置以基于检测由所述光投射装置投射并从所述场景反射的光来产生图像。所述装置还可以包括：用于控制耦合到所述投射装置和所述光接收装置的控制装置，所述控制装置经配置以，使用所述光接收装置确定所述场景中的光的存在，并且控制所述一系列激光脉冲的脉冲长度，控制曝光窗口何时开始，在所述曝光窗口期间，激活所述光投射装置以将光投射在所述场景上，并且激活光接收装置以开始感测从所述场景反射的光，基于从所述至少一个其它深度感测装置确定的所述场景上的光的存在开始所述曝光窗口和控制脉冲长度，使得所述曝光窗口在时间上不同于所述系统中的至少一个其它深度感测装置中的任何其它深度感测装置照射所述场景的时间。
各种其它特征还可以包括不同的实施方案。在所述深度感测装置的一些实施例中，所述光投射装置包括具有激光器的发射器。所述光接收装置可以包括接收器，所述接收器包括快门和传感器组合件，所述传感器组合件能够基于感测由所述光投射装置投射并从所述场景反射的光来产生图像。所述控制装置包括至少一个处理器。在各种实施例中，所述激光器能够发射近红外(NIR)光束，所述光投射装置包括发射器，所述发射器包括定位成由从所述激光器发射的所述NIR光束照射的光学元件，所述光学元件包括多个特征，所述多个特征经配置以当所述NIR光束通过所述光学元件传播时产生已知的结构化光图案，并且所述控制装置包括控制器，所述控制器经配置以使用所述NIR接收器确定指示所述场景中结构化光图案的NIR光的存在。所述多个特征包括多个衍射光学特征。所述发射器包括飞行时间(TOF)发射器。所述控制器还可以经配置以如果所述控制器确定无指示所述场景上结构化光图案的NIR光的存在，则激活所述发射器以在所述场景上投射结构化光图案，并且调整所述快门以与所述NIR光束的脉冲长度同步。所述控制器还可以经配置以如果所述控制器确定指示所述场景上结构化光图案的NIR光的存在，则延迟所述发射器产生NIR光束持续延迟时段，并且在所述延迟时段结束时再次检查指示所述场景上结构化光图案的NIR光的存在。所述用于接收的装置可以包括卷帘快门，并且在所述曝光时间期间，当所述场景被所述发射器投射的光照射时，所述控制器激活所述卷帘快门以扫描整个所述场景。所述控制装置可以经配置以在不与所述至少一个其它装置或另一同步系统通信的情况下确定曝光窗口。所述控制器还可以经配置以基于所确定的所述场景中的光的存在来调整所述脉冲频率，使得所述发射器在时间上不同于所述至少一个深度感测装置中的任何其它深度感测装置照射所述场景的时间的曝光窗口期间将光投射在所述场景上。
另一种创新方案包括一种包含非暂时性指令的计算机可读媒体，所述非暂时性指令控制至少一个处理器来执行所述指令，所述方法包括：使用传感器检测从场景反射的光，所述光指示所述场景正由深度感测装置照射；如果没有检测到来自所述场景的光，则激活所述深度感测装置的发射器以在曝光窗口期间将光投射到所述场景上，并且激活所述深度感测装置的快门以在所述曝光时间期间从所述光的反射捕获信息，所投射的光包括具有脉冲长度和脉冲频率的一系列脉冲；如果检测到来自场景的光，则将所述深度感测装置的快门调整为检测到的激光脉冲长度，并且再次感测来自所述场景的光；如果再次检测到光，则延迟曝光窗口的开始，在所述曝光窗口期间，所述深度感测装置的所述发射器将光投射在所述场景上，所述深度感测装置的所述快门从来自所述场景的光的反射捕获信息，并且迭代地重复感测光是否存在于所述场景上并且延迟曝光窗口的开始直到没有检测到光为止；以及如果没有检测到来自所述场景的光，则激活所述发射器和所述接收器持续所述曝光窗口，以一系列脉冲在所述场景上投射光，所述一系列脉冲具有脉冲频率，并且每个脉冲具有脉冲长度，并且使用所述接收器从所述场景检测光投射的光。在一些实施例中，所述发射器产生近红外(NIR)光束，所述发射器包括定位成接收从所述激光器发射的NIR光束的光学元件，所述光学元件包括多个特征，所述多个特征经配置以当所述NIR光束通过所述光学元件传播时产生已知的结构化光图案，且其中从所述场景检测光包括使用所述接收器检测指示所述场景中结构化光图案的NIR光的存在。
附图说明
在下文中将结合附图和附录来描述所公开的方面，提供附图和附录是为了说明而不是限制所公开的方面，其中相同的标号表示相同的元件。
图1是示出包括用于主动光感测以感测物体的深度(例如，三维(3D)地形)的多个系统的系统的实例的图。
图2是示出结构化光发射器的实例的图，其可以是例如图1所示的结构化光发射器。
图3是示出相机的实例的图，其也可以被称为“辐射接收器”，“传感器”或简称为“接收器”。
图4是示出三个光源/相机成像装置的实例的图，其中每个光源/相机成像装置经配置以具有脉冲光输出和相机曝光窗口(例如，用于将传感器暴露于辐射的持续时间)，每个装置的脉冲光输出和相机曝光窗口在与其它装置的脉冲光输出和相机曝光窗口在不同的时间发生。
图5示出了三个光源/相机成像装置的实例，每个光源/相机成像装置经配置以具有脉冲光输出和相机曝光窗口(持续时间)，其中一或多个相机不具有全局快门(例如，卷帘快门相机)，并且相机可以仍然是时间切换或控制的(例如，以较低的帧速率)。
图6是用于添加深度感测装置以在产生用于生成物体的3D模型的图像中与至少一个其它深度感测装置交互，并且其可以通过例如一或多个本文公开的装置执行的过程流程图。
图7是示出可由本文所公开的一或多个系统或其它系统执行的用于协调多个深度感测相机的方法的过程流程图。
具体实施方式
在下面的描述中，给出具体细节以提供对实例的透彻理解。然而，这些实例可以在没有这些具体细节的情况下实现，并且可以包括所描述的实例的更多特征或更少特征，同时保持在本文所描述和要求保护的实施例的范围内。
本文公开的实施方案提供了用于生成可以用于形成物体的3D模型的图像的系统、方法和设备。使用主动感测来生成这样的图像在过去几年中变得非常普遍。为了提取物体3D模型，例如在围绕物体或场景的布置中使用多个主动感测装置/系统，使得由多个主动感测装置产生的图像总计包括整个场景或物体的深度信息。为了确定物体的3D模型，收集具有物体的不同视点的多个图像。多个图像的后处理可以产生3D模型。如果足够快的计算机和技术被用于多个图像的后处理，则后处理可以是接近实时的。因为深度感测成像可以在相对更低的分辨率下进行，所以用于产生具有深度信息的图像的装置的数量越多，使用图像得到的重建3D模型的质量越好。因此，可能需要使用多个成像系统。
主动(深度)感测系统的实例包括但不限于结构化光系统和飞行时间(TOF)系统。结构化光3D成像系统(在本文中有时称为“相机”)可以将光的图案投射在物体上并观察物体上的图案的变形。也就是说，它们包括投射组件(或发射器)和接收器组件。使用稳定的光源将图案投射到物体上。从图案投射器略微偏移的且具有图案信息的成像系统(例如，相机)从投射图案接收光并且从图案的形状确定视场中的点的距离。TOF系统(或相机)是范围成像系统，其基于已知的光速来为图像的点求解距离、测量相机和场景/物体之间并且返回到相机的光信号的飞行时间。各种TOF系统可以使用紫外光、可见光或近红外(NIR)光来照射场景或物体，并且其可以与各种各样的材料一起使用。各个深度相机的传输可能彼此干扰。
为了效率，可以有利地同时收集多个图像。然而，不管用于深度感测的技术是结构化光、TOF还是另一种技术，使用多个发射器可能导致系统之间的干扰，导致由相机产生的图像中的像差，这是因为每个系统发射的光可能被另一个系统接收。在一些系统中，用于产生光的图案的激光光源不断地发射。如下所述，在使用多个发射器/接收器对的系统中，每个深度感测系统(例如，发射器/接收器对)可以经配置以使得激光器是脉冲式的，并且脉冲的持续时间可以调整(例如，基于激光峰值功率调整)，使得多个发射器/接收器对具有不同的光脉冲/相机曝光时间。如果需要特定的帧速率，则多个相机可以共享1/帧速率的时间量，如下所示(对于此特定实例，考虑全局快门相机)。深度感测系统的光源(光源统称为“激光器”)可以在其被致动时不断地发光。在一些实施例中，可以控制激光器在特定时间发射特定宽度的光脉冲。相机曝光窗口可以被相应地控制以在激光脉冲的时段期间接收辐射。如下文更详细地描述，当多个深度感测系统一起使用时，可控制每个深度感测系统中的激光器的脉冲以在不同时间产生脉冲。每个深度感测系统中的相关联的相机可以相应地被控制器控制以在激光脉冲时间期间具有曝光窗口。
本文描述的实施例的一些优点包括可以为单个和多个深度相机装置感测使用相同类型的装置、无需改变装置硬件(例如，相机或发射器)、容易实现发射器-相机同步、用户透明的相机间同步以及可以添加任意数量的相机。在使用多个发射器/接收器对来收集物体的深度信息的一些实施例中，每个发射器/接收器对可以经配置以投射图案并接收不同载波频率的光，这将最小化或防止相机之间的干扰。
图1是示出包括用于主动光感测以感测包括一或多个物体的场景的深度(例如，三维(3D)地形)的多个系统的系统的实例的图。在图1所示的实施例中，系统包括指向物体135的四个深度感测系统(例如，发射器100a-d/接收器200a-d系统)，以用来自不同视点的IR辐射照射物体135，例如以围绕感兴趣物体(物体)135并且照射和接收来自物体135的所有表面的光。在一些实施例中，可以使用多于四个发射器/接收器对，或者可以使用更少的发射器/接收器对。例如，深度感测系统100a提供结构化光105a以照射物体135，然后检测从物体135反射的(反射)结构化光110。在一些实施例中，可以使用多于四个发射器/接收器对，或者可以使用更少的发射器/接收器对。在此实施例中，每个深度感测系统(或相机)100a-d包括结构化光发射器200。参考图2进一步描述发射器200的实例。每个深度感测系统100a-d还可以包括接收器300。参考图3进一步描述接收器300的实例。
可以使用各种深度感测系统。所述布置中的每个深度感测装置可以包括结构化光发射器、飞行时间(TOF)发射器或另一照明源。在各种实施例中，每个深度感测装置的照明源可以经配置以产生紫外光、可见光或红外(IR)光或近红外(NIR)光照明。在一些实施例中，每个深度感测系统100a-d可以包括产生近红外(NIR)光束的激光器，其被光学操纵以产生光图案，并且将光图案投射在物体135上。一般而言，近红外光是高于700纳米至约1mm的光。深度感测系统100可以经配置以在非常窄的波长谱中产生NIR光束，例如在大约1-5纳米波长的窄范围内。在一些实施例中，每个发射器/接收器系统投射并接收不同的NIR载波频率(或NIR载波频率的非常窄的范围)，使得多个装置彼此不干扰。并且在每个配置中，每个配对的装置可以发送和接收不同的NIR载波频率。
上述系统的优点包括多个深度相机系统的更简单的设计。可以通过这些实施例实现可忽略的干扰(或无干扰)。此外，对于这样的系统，通过操纵带通滤波器的带宽相对容易控制干扰与噪声。此外，将系统扩展到具有N个相机的设计系统是直截了当的，只需要定义不同的载波频率即可。在一些实施例中，发射器和接收器都是可调谐的，并且在这样的系统中，发射器和接收器都可以被设计为相同的，这可以降低成本并允许更容易的维护和修理。
深度感测系统100可以包括控制器，其控制激光器根据特定的时序标准发射光脉冲，以发射特定脉冲宽度和/或特定频率的光。此外，发射器可以包括通信模块，通信模块可以包括处理器。通信模块(例如，处理器)可以经配置以与其它装置通信信息以协调脉冲宽度的长度、脉冲宽度的频率以及何时发射光脉冲。深度感测系统100的这些组件以及其它组件将参考图2(发射器)和图3(接收器)进一步描述。
图2是示出结构化光发射器200的实例的图，其可以是例如图1所示的结构化光发射器。结构化光发射器200可以包含在深度感测系统100的外壳内，如图1的实施例所示。在一些实施例中，结构化光发射器200与深度感测系统中的接收器300装纳在一起。在一些实施例中，结构化光发射器200和接收器300被分开装纳，但是被放置为靠近在一起以执行与将它们装纳在一起的深度感测系统相同的功能。
发射器200包括产生具有窄波长的辐射的激光器210。在此实例中，激光器210产生近红外(NIR)光束130。发射器200还包括对准的准直透镜215和衍射光学元件(或掩模)220，使得光束230穿过准直透镜215，然后通过衍射光学元件220。衍射光学元件220上的衍射特征225产生投射到物体135上的光图案。
图3是示出根据一些实施例的相机300(或接收器)的实例的图。接收器300可以与深度感测装置中的发射器(例如，图2中的发射器200)装纳在一起。在一些实施例中，参考图3描述的一或多个组件可以耦合到发射器并且控制发射器的功能(例如，当从发射器发射激光脉冲时，由发射器产生的激光脉冲的长度，或从发射器发射激光脉冲的频率)。在一些实施例中，装置300可以是有目的地配置用于结构化光深度感测的感测装置。在一些其它实施例中，装置300可以经配置以飞行时间(TOF)系统。各种实施例可以具有附加的组件或者比图3中所示的组件更少的组件，或者具有不同的组件。
图3描绘了具有包括链接到图像传感器组合件315的图像处理器320和收发器355的一组组件的装置300(图像捕获装置)的高级框图。图像处理器320还与工作存储器305、存储器330和装置处理器350通信，装置处理器350又与存储装置310和电子显示器325通信。在一些实施例中，装置300可以是蜂窝电话、数字相机、平板计算机、个人数字助手或高端相机或专门用于深度感测的成像系统。装置300可以包括用于传统摄影和视频应用、高动态范围成像、全景照片和视频或诸如3D图像或3D视频的立体成像的应用。
在图3所示的实例中，图像捕获装置300包括用于捕获外部图像的图像传感器组合件315。图像传感器组合件315可以包括传感器、透镜组合件以及用于将目标图像的一部分重定向到每个传感器的主和次反射或折射表面。一些实施例可以具有多于一个的传感器。图像传感器组合件可以耦合到图像处理器320以将捕获的图像传输到图像处理器。
图像处理器320可以经配置以对包括场景的所有或部分的接收到的图像数据执行各种处理操作，其中图像数据包括深度信息。图像处理器320可以是通用处理单元或专用于成像应用的处理器。图像处理操作的实例包括裁剪、缩放(例如，缩放到不同分辨率)、图像拼接、图像格式转换、颜色插值、颜色处理、图像滤波(例如，空间图像滤波)、透镜伪影或缺陷校正等。在一些实施例中，图像处理器320可以包括多个处理器。某些实施例可以具有专用于每个图像传感器的处理器。图像处理器320可以是一或多个专用图像信号处理器(ISP)或处理器的软件实现。
如图3中的实例所示，图像处理器320连接到存储器330和工作存储器305。在所示实施例中，存储器330存储捕获控制模块335、传感器模块340和操作系统345。这些模块包括用于将装置处理器350的图像处理器320配置为执行用于从一或多个图像确定深度信息的各种图像处理以及装置管理任务的指令。工作存储器305可以由图像处理器320用于存储包含在存储器330的模块中的处理器指令的工作集合。可替代地，工作存储器305还可以由图像处理器320使用以存储在装置300的操作期间创建的动态数据。
装置300还可以包括带通滤波器360，其被调谐(或配置)为允许特定载波频率(例如由图1的发射器100产生的载波频率)通过。在一些实施例中，带宽低通滤波器可以例如由捕获控制模块335调谐和控制，以允许若干频率中的一个通过传感器组合件315。这将允许装置300被调谐到对应于发射器所使用频率的载波频率，其将有利于多个成像系统应用，其中每个发射器/图像捕获装置(接收器)对投射并接收NIR光的不同载波频率。
如上所述，图像处理器320由存储在存储器中的若干模块配置。捕获控制模块335可以包括配置图像处理器320以调整成像传感器组合件315的聚焦位置的指令。捕获控制模块335还可以包括控制装置300的整体图像捕获功能的指令，其包括与捕获具有深度信息的图像相关的功能。例如，捕获控制模块335可以包括控制传感器组合件的快门以增加或减少曝光时间或者调整曝光窗口的开始或结束时间的指令。捕获模块335单独或与传感器控制模块340共同可以调用子程序以配置图像处理器320以使用传感器组合件315捕获场景的深度感测图像。捕获控制模块335还可以包括控制深度感测装置的发射器的功能。捕获控制模块335还可以控制传感器组合件以捕获图像，例如，与发射激光脉冲的发射器协调并与其它图像捕获装置协调。
传感器控制模块340可以包括配置图像处理器320以对捕获的图像数据执行拼接和裁剪技术的指令。目标图像生成可以通过已知的图像拼接技术进行。
操作系统模块345配置图像处理器320以管理工作存储器305和装置300的处理资源。例如，操作系统模块345可以包括用于管理诸如成像传感器组合件315的硬件资源的装置驱动器。因此，在一些实施例中，包含在上述图像处理模块中的指令可以不直接与这些硬件资源交互，而是通过位于操作系统组件370中的标准子例程或API进行交互。然后操作系统345内的指令可以直接与这些硬件组件交互。操作系统模块345可以进一步配置图像处理器320以与装置处理器350共享信息。
装置处理器350可以经配置以控制显示器325向用户显示捕获的图像或捕获的图像的预览。显示器325可以在成像装置300的外部或者可以是成像装置300的一部分。显示器325还可以经配置以提供取景器，其在捕获图像之前显示用于使用的预览图像，或者可以被配置以显示存储在存储器中或由用户最近捕获的捕获图像。显示器325可以包括LCD或LED屏幕，并且可以实现触敏技术。
装置处理器350可以向存储模块310写入数据，例如表示捕获的图像的数据。尽管存储模块310被图形地表示为传统磁盘装置，但是本领域技术人员将理解，存储模块310可以经配置以任何存储媒体装置。例如，存储模块310可以包括诸如软盘驱动器、硬盘驱动器、光盘驱动器或磁光盘驱动器的磁盘驱动器，或诸如闪存、RAM、ROM和/或EEPROM的固态存储器。存储模块310还可以包括多个存储器单元，并且存储器单元中的任何一个可以被配置在图像捕获装置300内，或者可以在图像捕获装置300外部。例如，存储模块310可以包括包含存储在图像捕获装置300内的系统程序指令的ROM存储器。存储模块310还可以包括存储卡或高速存储器，其经配置以存储可从相机移除的捕获的图像。收发器355可以经配置以与其它图像捕获装置通信信息以确定每个装置应捕获图像。
虽然图3描绘具有单独组件以包括处理器、成像传感器和存储器的装置，但本领域技术人员将认识到，可以各种方式组合这些单独组件以实现特定设计目标。例如，在替代实施例中，存储器组件可以与处理器组件组合以节省成本和提高性能。
另外，尽管图3示出了两个存储器组件，包括了包括若干模块的存储器组件330和包括工作存储器的单独存储器305，但是本领域技术人员将认识到利用不同存储器架构的若干实施例。例如，设计可以利用ROM或静态RAM存储器来存储实现包含在存储器330中的模块的处理器指令。处理器指令可以被加载到RAM中以便于由图像处理器320执行。例如，工作存储器305可以包括RAM存储器，其中在由处理器320执行之前将指令加载到工作存储器305中。
图4是示出三个光源/相机成像装置(深度感测系统)405、410和415的实例的图，其中每个光源/相机成像装置经配置以具有脉冲光输出(例如，分别为406a、411a和416a)和曝光窗口(例如，分别为407a、412a和417a)。脉冲光输出通常可以定义为照射场景的激光脉冲发生的持续时间。曝光窗口通常可以被定义为用于将成像装置中的传感器暴露于场景以感测来自场景的辐射的持续时间。图4示出了其中用于每个成像装置的脉冲光输出406a、411a和416a在与其它装置不同的时间发生的实例。图4还示出了用于每个成像装置的曝光窗口407a、412a和417a在与其它成像装置不同的时间发生。
例如，图4示出了三个深度感测系统405、410和415，并且示出了一个实施例，其中不同的深度感测系统产生激光脉冲并且具有对于每个系统不同的相应的相机曝光时间。深度感测系统405在获取图像时产生激光脉冲406a、406b持续脉冲宽度时间段1a、1b……以及对应的相同(或接近相同的)相机时间段(曝光窗口)407a、407b时间段。深度感测系统410在获取图像时产生激光脉冲411a、411b或脉冲宽度时间段2a、2b……和对应的相同(或接近相同的)的相机时间段(曝光窗口)412a、412b。深度感测系统415在获取图像时产生激光脉冲416a、416b或脉冲宽度时间段3a、3b……和对应的相同(或接近相同的)的相机时间段(曝光窗口)417a、417b。
在成像装置的一些实施例中，激光器可以恒定地或以特定帧速率发射。为了防止成像装置之间的干扰，可以操作激光器以产生具有特定帧速率的周期性或非周期性激光脉冲，并且可以调整激光脉冲的持续时间。如果对于所有深度感测装置需要用于照射场景的特定帧速率，则多个成像装置可以共享1/帧速率的时间。例如，如果在用于对场景(或物体)进行成像的布置中存在四个深度感测装置，并且每个深度感测装置的帧速率是每秒一(1)帧，则每个深度感测装置可以产生1/4秒的脉冲长度，并且仍然实现所需的每秒一(1)帧。在此实例中，深度感测装置经配置以基于场景正被另一装置照射的迭代检测来延迟它们的脉冲照射发射的开始，并且可以自协调(即，不与其它深度感测装置通信)以确定产生1/4秒的激光脉冲的时间并且具有实现期望的每秒帧速率一(1)帧的对应曝光窗口。可以对具有带全局快门(如图4所示)或卷帘快门(如图5所示)的成像装置的配置实现这样的处理。
因此，在各种实施例中，多个相机可以共享可用的总曝光时间而不彼此干扰。例如，在一些实施例中，深度感测系统可以经配置以感测场景何时未被光源(例如，来自其它深度感测系统中的一个)照射，这将导致对其自身的深度感测的干扰，并且如果不是，照射所述系统(例如，使用结构化光或TOF技术照射)并感测投射的辐射。如果深度感测系统检测到场景包括可能干扰其自身的深度感测处理的光，则深度感测系统可以延迟投射其照明，然后继续进行以再次感测场景是否包括可能干扰其自身的深度感测处理的光。这可以重复直到深度感测系统确定场景不包括将干扰其深度感测处理的光，然后继续照射场景并感测投射的辐射。在一些实例中，延迟是针对某个延迟时间段的，其可以是或可以不是预定的。具有一致的延迟时间段可以有助于更容易地分辨多个装置的干扰。例如，如图4所示，深度感测系统405在时间段1a、2a等期间以特定帧速率一致地产生照明脉冲。如果深度感测系统410延迟以避免第一激光脉冲406a，然后在与时间段2a期间的深度感测系统405相同的帧速率照明，则其后续脉冲411b将在时间段2b期间照射场景，避免在时间段1b期间产生激光脉冲406b。这种延迟处理还可以由深度感测系统415以及在场景成像中涉及的任何其它附加深度感测系统来执行。以这种方式，多个深度感测装置可以与其它装置协调它们对场景的照明/感测，而在装置之间不发生任何通信，或者无需由另一个控制装置(例如与每个深度感测系统通信以控制它们何时各自对场景成像的网络装置)指引这样的协调。
在其它实例中，可以使用不同持续时间的多个延迟，并且这些延迟可以预先确定也可以不预先确定。例如，使用具有持续时间的不同的多个延迟可以防止尝试以相同或相似的帧速率进行深度感测动作并且具有相同或相似的开始时间的两个系统的干扰。在一些实例中，动态地确定延迟，例如，可以随机确定尝试避免重复干扰。在一个布置中，延迟持续时间可以完全由每个成像系统自身确定，而不在多个深度感测系统之间进行通信。
图5示出了三个光源/相机成像装置(深度感测装置)的实例，每个光源/相机成像装置经配置以具有脉冲光输出和相机曝光窗口(持续时间)，其中深度感测装置具有卷帘快门而不是全局快门(脉冲光输出在本文中可以称为照明脉冲)。在其中一或多个深度感测装置不具有全局快门(例如，替代地具有卷帘快门)的一些实施例中，深度感测装置仍然可以在相同的系统中使用，并且被配置和操作为不彼此干扰。例如，在一些实施例中，深度感测相机可以经配置以当它们开始发射一或多个照明脉冲时调整时间，和/或它们可以经配置以调整照明脉冲的长度，和/或它们可以经配置以调整照明脉冲帧速率。例如，在一些实施例中，所述深度感测装置中的每一者可以控制时间，为时间切换或时间控制的(例如，以较低的帧速率)。具体地，深度感测装置505、510和515每个经配置以具有脉冲光输出(例如，分别为506a和506b，511a和511b以及516a和516b)和曝光窗口(例如，分别为507a和507b，512a和512b，以及517a和517b)。
每个深度感测装置505、510和515的脉冲光输出506a、511a和516a分别在与其它深度感测装置不同的时间发生。因为深度感测装置具有卷帘快门，其一次曝光场景的多个部分(例如，对应于深度感测系统中的传感器的一或多行的场景的水平段，例如，图3中的传感器组合件315)，所以曝光窗口对于场景的不同部分是不同的，如梯形曝光窗口所示。参考深度感测装置505，类似于图4中所示的用于全局快门实施例的实施例，激光脉冲在时间段1a期间照射场景或物体，并且曝光窗口也在时间段1a期间。如本领域普通技术人员将理解的，因为卷帘快门仅在任一时刻暴露传感器的一部分，所以如果所有其它条件相等，则曝光窗口的总持续时间通常将更长。这可以导致对于一定数量的装置使用更低的总体帧速率，或者使用更少的装置并且保持一定的帧速率。然而，脉冲长度的调整和发射脉冲以照射场景的延迟可以如参考图4所描述的以及如本文其它地方所描述的来执行。
图6是示出用于添加深度感测装置以与用于产生用于生成场景(例如，物体)的3D模型的图像的布置中的至少一个其它深度感测装置进行交互的过程600的实例的流程图。虽然这在结合彼此工作的两个或更多个深度感测装置的上下文中讨论，使得它们在操作以产生包含深度信息的图像时不彼此干扰，但深度感测装置不需要直接或间接地彼此通信来使所述过程进行操作。相反，每个深度感测装置可以经配置以调整其发射照明脉冲的时间，调整照明脉冲的长度和/或调整发射照明脉冲的频率。过程600可以由例如本文公开的一或多个装置执行。例如，其可以由深度感测装置300(图3)的一或多个组件执行。在一些实施例中，处理器350(其也可以被称为控制器)可以被配置有存储在存储器(例如，工作存储器305)中以执行添加装置处理的指令。
过程600开始于框605，其中深度感测装置可以与一或多个其它深度感测装置放置在一个布置中，以收集包括场景的深度信息的图像。在图1中示出了具有四个深度感测装置的实例布置。可以在添加到装置的布置中的每个深度感测装置上执行过程600，并且在要添加的装置的上下文中描述所述过程600。在框610，过程600开启深度感测系统的相机(或传感器)，并感测场景的至少一部分的照明。在一些实施例中，相机操作以感测整个场景中的辐射。例如，相机被操作以感测类似于将用于此特定深度感测装置(例如，IR、NIR、UV或可见光)辐射的辐射。开启装置相机-全帧快门。
在框615，过程600确定相机是否检测到相关辐射(在此实例中是NIR光)，指示在所述布置中存在另一主动深度感测装置。过程600同样适用于除NIR之外的类型的辐射。
在框625，如果未检测到辐射，则过程600开启发射器并调整快门，例如调整到脉冲长度。过程600然后继续到框645，其指示已经添加了装置。这例证了添加到所述布置的第一深度感测装置在其被首次添加时可以不进行任何调整，但是其可以在随后添加另外的深度感测装置时进行调整。
在框620，如果检测到辐射，则将相机快门调整到激光脉冲长度。这可以例如由图3中所示的捕获控制模块335和处理器350共同完成。
过程600然后继续到框630，其中相机再次确定场景中是否存在潜在的干扰辐射(例如，NIR)。如果场景中存在辐射，则过程600继续到框635。如果没有检测到潜在干扰辐射，则过程600继续到框640。
在框635，过程在时间上移动帧的开始(即其将要发送其照明脉冲及其曝光窗口的时间)，使得其不干扰场景中的辐射，指示另一个装置在照射场景的过程中。过程600然后继续回到框630，其中它再次确定相机是否检测到场景中的NIR功率。
在框640，现在已经检测到场景中没有潜在的干扰辐射，过程600激活发射器640并照射场景。在这一点上，装置可以以一定的帧速率和一定的激光脉冲长度继续照射场景。然后，所述过程可以继续进行另一个过程，其中照射场景并感测深度信息。在帧速率可以变化的一些实施例中，深度感测装置可以在照射场景之前感测场景中的潜在干扰辐射。这可以每次或周期性地或根据另一感测时间表来进行。
在框645，用于添加装置的过程600结束。
图7是示出可由本文公开的一或多个系统或其它系统执行的用于协调多个深度感测相机的方法700的实例的过程流程图。方法700可以在深度感测装置上操作，用于捕获包括深度感测系统中的场景的深度信息的图像，所述深度感测系统包括至少两个深度感测装置。在一些实施例中，图3中所示的装置可以执行所示的方法。
在框705，方法700使用传感器感测从场景反射的光，所述光指示场景由深度感测装置照明。在决策框708，评估所感测的光以确定在场景中是否检测到光(指示另一深度感测装置)。
在框710，如果检测到来自场景的光，则方法700将深度感测装置的快门(例如，快门打开的时间)调整为检测到的激光脉冲长度，并且再次感测来自场景的光并且进行到框715。这可以具有将快门调整到足够小的时间段的效果，以避免接收从另一个装置投射的光，并且允许两个装置在相同的一般时间框架内工作以形成深度感测图，即无需使一个装置首先操作，然后完全关闭，然后使第二装置操作。
在框720处，如果未检测到来自场景的光，则方法700激活深度感测装置的快门，以在曝光窗口期间从光的反射捕获信息，并进行到框730。
在框715，方法700确定是否从场景检测到光。如果现在未检测到光，则方法进行到框720。如果光是增益检测，则方法进行到框725，其中可对曝光窗口的开始和/或快门打开以捕获光的时间进行进一步调整。一旦进行进一步调整(例如，为了延迟曝光窗口的开始)，所述方法从框725回到框715，在框715其再次确定是否从场景检测到光，所述光指示另一深度感测系统操作并将光投射到场景上。方法700迭代地重复感测光是否存在于场景上并延迟曝光窗口的开始和/或可调整快门窗口直到没有检测到光。
在框730，方法700激活发射器和接收器持续曝光窗口，以一系列脉冲在场景上投射光，所述一系列脉冲具有脉冲频率且每个脉冲具有脉冲长度，且使用接收器从场景检测光投射的光。深度感测装置的发射器在曝光窗口期间将光投射在场景上。这包括激活深度感测装置的快门以在曝光窗口期间从光的反射捕获信息，所投射的光包括具有脉冲长度和脉冲频率的一系列脉冲。
实施系统和术语
本文公开的实施方案提供了用于多孔阵列相机的没有视差和倾斜伪影的系统、方法和设备。本领域技术人员将认识到，这些实施例可以在硬件、软件、固件或其任何组合中实现。
在一些实施例中，上述电路、过程和系统可以用于无线通信装置中。无线通信装置可以是用于与其它电子装置无线通信的一种电子装置。无线通信装置的实例包括蜂窝电话、智能电话、个人数字助理(PDA)、电子阅读器、游戏系统、音乐播放器、上网本、无线调制解调器、膝上型计算机、平板装置等。
无线通信装置可以包括一或多个图像传感器、两个或更多个图像信号处理器、包括用于执行上述CNR过程的指令或模块的存储器。装置还可以具有数据、从存储器加载指令和/或数据的处理器、一或多个通信接口、一或多个输入装置、一或多个输出装置(诸如显示装置和电源/接口)。无线通信装置可以附加地包括发射器和接收器。发射器和接收器可以共同称为收发器。收发器可以耦合到用于发送和/或接收无线信号的一或多个天线。
无线通信装置可以无线地连接到另一电子装置(例如，基站)。无线通信装置可以替代地被称为移动装置、移动站、订户站、用户装置(UE)、远程站、接入终端、移动终端、终端、用户终端、订户单元等。无线通信装置的实例包括膝上型或台式计算机、蜂窝电话、智能电话、无线调制解调器、电子阅读器、平板装置、游戏系统等。无线通信装置可以根据一或多个工业标准作为第三代合作伙伴计划(3GPP)操作。因此，通用术语“无线通信装置”可以包括根据工业标准(例如，接入终端、用户装置(UE)、远程终端等)以不同命名法描述的无线通信装置。
本文描述的功能可以作为一或多个指令存储在处理器可读或计算机可读媒体上。术语“计算机可读媒体”是指可以由计算机或处理器访问的任何可用媒体。作为实例而非限制，这样的媒体可以包括RAM、ROM、EEPROM、闪存、CD-ROM或其它光盘存储器、磁盘存储器或其它磁存储装置，或者可以用于以指令或数据结构的形式存储期望的程序代码并且可以由计算机访问的其它任何媒体。如本文所使用的磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字通用盘(DVD)、软盘和蓝光盘，其中磁盘通常磁性地再现数据，而光盘用激光光学地再现数据。应当注意，计算机可读媒体可以是有形的和非暂时性的。术语“计算机程序产品”是指与可以由计算装置或处理器执行、处理或计算的代码或指令(例如，“程序”)结合的计算装置或处理器。如本文所使用的，术语“代码”可以指可由计算装置或处理器执行的软件、指令、代码或数据。
软件或指令也可以在传输媒体上传输。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或诸如红外、无线电和微波的无线技术从网站、服务器或其它远程源传输软件，则同轴电缆、光纤电缆、双绞线、DSL或诸如红外、无线电和微波的无线技术包括在传输媒体的定义中。
本文公开的方法包括用于实现所描述的方法的一或多个步骤或动作。在不脱离权利要求的范围的情况下，方法步骤和/或动作可以彼此互换。换句话说，除非为了所描述的方法的正确操作需要步骤或动作的特定顺序，否则在不脱离权利要求的范围的情况下，可以修改特定步骤和/或动作的顺序和/或使用。
应当注意，本文所使用的术语“耦合”、“耦合着”、“耦合了”或单词耦合的其它变型可以指示间接连接或直接连接。例如，如果第一组件“耦合”到第二组件，则第一组件可以间接连接到第二组件或直接连接到第二组件。如本文所使用的，术语“多个”表示两个或更多个。例如，多个组件指示两个或更多个组件。
术语“确定”包括各种各样的动作，因此，“确定”可以包括计算、运算、处理、导出、调查、查找(例如，在表、数据库或另一数据结构中查找)等。此外，“确定”可以包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)等。此外，“确定”可以包括解析、选择、选取、建立等。
短语“基于”不意味着“仅基于”，除非另有明确指定。换句话说，短语“基于”描述“仅基于”和“至少基于”。
在前述描述中，给出了具体细节以提供对实例的透彻理解。然而，本领域的普通技术人员将理解，可以在没有这些具体细节的情况下实践这些实例。例如，可以以框图示出电气组件/装置，以便不以不必要的细节模糊实例。在其它实例中，可以详细地示出这些组件、其它结构和技术以进一步解释实例。
本文中包括标题以供参考并且有助于定位各个部分。这些标题不旨在限制关于其描述的概念的范围。这样的概念可以在整个说明书中具有适用性。
还要注意，实例可以被描述为过程，其被描绘为流程图、流图、有限状态图、结构图或框图。虽然流程图可以将操作描述为顺序过程，但是许多操作可以并行或并发地执行，并且可以重复所述过程。此外，可以重新布置操作的顺序。当其操作完成时，过程终止。过程可以对应于方法、函数、程序，子例程，子程序等。当过程对应于软件函数时，其终止对应于函数返回到调用函数或主函数。
提供对所公开实施方案的先前描述以使本领域技术人员能够制作或使用本发明。对这些实施方案的各种修改对于本领域技术人员将是显而易见的，并且在不脱离本发明的精神或范围的情况下，本文定义的一般原理可以应用于其它实施方案。因此，本发明不旨在限于本文所示的实施方案，而是应符合与本文公开的原理和新颖特征一致的最宽范围。

Claims (18)

1.一种深度感测装置，其用于捕获场景的深度信息，所述深度感测装置包括：
存储器；以及
耦合到所述存储器的处理器，所述处理器经配置以：
使用由所述深度感测装置的传感器所产生的所述场景的图像确定来自至少一个其它深度感测装置的光是否存在于所述场景内，以及
响应于确定来自所述至少一个其它深度感测装置的所述光是否存在于所述场景内而控制曝光窗口何时开始，在所述曝光窗口期间，发射器被激活以将光投射在所述场景上并且接收器被激活以开始感测从所述场景所反射的光，其中所述曝光窗口与来自所述至少一个其它深度感测装置的所述光存在于所述场景内的时间不重叠。
2.根据权利要求1所述的深度感测装置，其中
发射器经配置以将光投射在所述场景上，并且所述发射器包含产生近红外NIR光束的激光器，并且
耦合到所述发射器的接收器。
3.根据权利要求2所述的深度感测装置，其中所述发射器包含多个衍射光学特征。
4.根据权利要求2所述的深度感测装置，其中所述发射器包括飞行时间TOF发射器。
5.根据权利要求2所述的深度感测装置，其中所述接收器包含快门，并且其中执行所述指令致使所述发射器将结构化光图案投射在所述场景上。
6.根据权利要求5所述的深度感测装置，其中所述处理器进一步经配置以基于所述场景上指示所述结构化光图案的NIR光的存在，则延迟所述发射器产生所述NIR光束持续延迟时段。
7.根据权利要求2所述的深度感测装置，其中所述接收器包括卷帘快门。
8.根据权利要求1所述的深度感测装置，其中所述处理器经配置以在不与所述至少一个其它深度感测装置通信的情况下控制所述曝光窗口。
9.根据权利要求2所述的深度感测装置，其中所述激光器在脉冲频率处产生一系列激光脉冲，并且其中所述处理器进一步经配置以基于所述场景中的结构化光图案的存在来调整所述脉冲频率。
10.一种使用深度感测装置捕获场景的深度信息的方法，所述方法包括：
使用由所述深度感测装置的传感器检测从所述场景所反射的光，所述光指示正由至少一个其它深度感测装置所照明的所述场景；
响应于检测到所述光而控制曝光窗口何时开始，在所述曝光窗口期间，所述深度感测装置的发射器将光投射在所述场景上并且所述深度感测装置的接收器被激活以开始感测从所述场景所反射的光，其中所述曝光窗口与在所述至少一个其它深度感测装置正照明所述场景的时间不重叠。
11.根据权利要求10所述的方法，其中由所述发射器所投射的所述光是近红外NIR光束。
12.根据权利要求11所述的方法，其中所述发射器包括多个衍射光学特征。
13.根据权利要求10所述的方法，其中所述发射器包括飞行时间TOF发射器。
14.根据权利要求10所述的方法，其进一步包括在所述曝光窗口期间激活卷帘快门。
15.根据权利要求10所述的方法，其中所述深度感测装置在不与所述至少一个其它深度感测装置通信的情况下控制所述曝光窗口。
16.根据权利要求10所述的方法，其进一步包括基于在所述场景中所检测的光来调整由所述发射器所投射的所述光的脉冲频率。
17.一种包含指令的非暂时性计算机可读介质，当被一个或多个装置执行时，所述指令致使所述装置执行包括以下的操作：
使用由深度感测装置的传感器检测从场景所反射的光，所述光指示正由另一个其它深度感测装置所照明的所述场景；
响应于检测到所述光而控制曝光窗口何时开始，在所述曝光窗口期间，所述深度感测装置的发射器将光投射在所述场景上并且所述深度感测装置的接收器被激活以开始感测从所述场景所反射的光，其中所述曝光窗口与在所述至少一个其它深度感测装置正照明所述场景的时间不重叠。
18.根据权利要求17所述的非暂时性计算机可读介质，其中指令的执行致使所述装置执行进一步包括以下的操作：
从所述发射器投射近红外NIR光束，所投射的所述NIR光束表示已知的结构化光图案；且
检测从所述场景所反射的指示结构化光图案的光。
CN201580032106.2A 2014-06-20 2015-06-02 使用时间共享的自动的多个深度相机同步 Active CN106461783B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201462015232P 2014-06-20 2014-06-20
US201462015358P 2014-06-20 2014-06-20
US62/015,358 2014-06-20
US62/015,232 2014-06-20
US14/599,248 2015-01-16
US14/599,248 US10419703B2 (en) 2014-06-20 2015-01-16 Automatic multiple depth cameras synchronization using time sharing
PCT/US2015/033695 WO2015195318A1 (en) 2014-06-20 2015-06-02 Automatic multiple depth cameras synchronization using time sharing

Publications (2)

Publication Number Publication Date
CN106461783A CN106461783A (zh) 2017-02-22
CN106461783B true CN106461783B (zh) 2019-10-25

Family

ID=54870855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580032106.2A Active CN106461783B (zh) 2014-06-20 2015-06-02 使用时间共享的自动的多个深度相机同步

Country Status (10)

Country Link
US (1) US10419703B2 (zh)
EP (1) EP3158286B1 (zh)
JP (1) JP6517244B2 (zh)
KR (1) KR102376285B1 (zh)
CN (1) CN106461783B (zh)
BR (1) BR112016029603A2 (zh)
CA (1) CA2951461A1 (zh)
ES (1) ES2690270T3 (zh)
HU (1) HUE039700T2 (zh)
WO (1) WO2015195318A1 (zh)

Families Citing this family (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9953428B2 (en) * 2015-03-03 2018-04-24 Microsoft Technology Licensing, Llc Digital camera unit with simultaneous structured and unstructured illumination
US10721420B2 (en) * 2015-06-02 2020-07-21 Intel Corporation Method and system of adaptable exposure control and light projection for cameras
US11300666B2 (en) 2016-04-13 2022-04-12 Oulun Yliopisto Distance measuring device and transmitter, receiver and method thereof
KR20180006782A (ko) * 2016-07-11 2018-01-19 삼성전자주식회사 영상의 초점을 제어하는 전자 장치와 이의 동작 방법
US10627494B2 (en) * 2016-09-16 2020-04-21 Analog Devices, Inc. Interference handling in time-of-flight depth sensing
CN109791201B (zh) * 2016-09-30 2023-04-04 奇跃公司 具有空间光调制的投影仪
TWI678121B (zh) * 2016-10-20 2019-11-21 宏達國際電子股份有限公司 用於一燈塔定位系統之輔助裝置
US10033988B2 (en) * 2016-10-31 2018-07-24 Verizon Patent And Licensing Inc. Methods and systems for capturing depth data using frequency-segregated structured light
US10451714B2 (en) 2016-12-06 2019-10-22 Sony Corporation Optical micromesh for computerized devices
US10536684B2 (en) 2016-12-07 2020-01-14 Sony Corporation Color noise reduction in 3D depth map
KR20180065756A (ko) * 2016-12-08 2018-06-18 삼성전자주식회사 무인비행체를 제어하는 전자 장치 및 그 제어 방법
US10181089B2 (en) 2016-12-19 2019-01-15 Sony Corporation Using pattern recognition to reduce noise in a 3D map
US10178370B2 (en) 2016-12-19 2019-01-08 Sony Corporation Using multiple cameras to stitch a consolidated 3D depth map
US10495735B2 (en) 2017-02-14 2019-12-03 Sony Corporation Using micro mirrors to improve the field of view of a 3D depth map
US10795022B2 (en) 2017-03-02 2020-10-06 Sony Corporation 3D depth map
US10554958B2 (en) * 2017-03-13 2020-02-04 Microsoft Technology Licensing, Llc Systems and methods for interleaving multiple active camera frames
US10979687B2 (en) * 2017-04-03 2021-04-13 Sony Corporation Using super imposition to render a 3D depth map
CN108881885A (zh) * 2017-04-10 2018-11-23 钰立微电子股份有限公司 深度处理系统
KR101938668B1 (ko) * 2017-05-29 2019-01-15 엘지전자 주식회사 청소기 및 그 제어방법
EP3646057A1 (en) 2017-06-29 2020-05-06 Apple Inc. Time-of-flight depth mapping with parallax compensation
US10627492B2 (en) * 2017-08-01 2020-04-21 Waymo Llc Use of extended detection periods for range aliasing detection and mitigation in a light detection and ranging (LIDAR) system
US11280908B2 (en) * 2017-08-15 2022-03-22 Black Sesame Technologies Inc. Obstacle detection by global shutter image sensor
US20190072771A1 (en) * 2017-09-05 2019-03-07 Facebook Technologies, Llc Depth measurement using multiple pulsed structured light projectors
EP3474541A1 (en) * 2017-10-17 2019-04-24 ams AG 3d camera system with rolling-shutter image sensor and array of addressable light sources
US10484667B2 (en) 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
CN107911575B (zh) * 2017-11-02 2018-10-26 中国矿业大学 一种高精度低功耗多相机同步触发系统
WO2019104613A1 (zh) * 2017-11-30 2019-06-06 北醒（北京）光子科技有限公司 一种抗干扰的测距方法及装置
CN108802746B (zh) * 2017-11-30 2024-02-13 北醒（北京）光子科技有限公司 一种抗干扰的测距方法及装置
CN108124466B (zh) * 2017-12-11 2021-12-17 达闼机器人有限公司 激光探测方法及系统
WO2019125349A1 (en) 2017-12-18 2019-06-27 Montrose Laboratories Llc Time-of-flight sensing using an addressable array of emitters
US11140340B2 (en) 2017-12-26 2021-10-05 Robert Bosch Gmbh Single-chip RGB-D camera
CN109996057B (zh) * 2017-12-29 2021-06-18 技嘉科技股份有限公司 深度相机的控制方法及驱动装置
CN108174180B (zh) * 2018-01-02 2019-07-30 京东方科技集团股份有限公司 一种显示装置、显示系统及三维显示方法
EP3514574A1 (en) * 2018-01-19 2019-07-24 Koninklijke Philips N.V. Time-of-flight imaging system for autonomous movable objects
CN110072065B (zh) * 2018-01-23 2021-04-27 舜宇光学（浙江）研究院有限公司 适用于卷帘曝光深度相机的投射器工作时间控制方法及其应用
EP3743763A4 (en) * 2018-01-24 2021-12-08 Cyberoptics Corporation STRUCTURED LIGHT PROJECTION FOR REFLECTIVE SURFACES
CN108333859B (zh) * 2018-02-08 2024-03-12 宁波舜宇光电信息有限公司 结构光投射装置、深度相机以基于深度相机的深度图像成像方法
DE102018105219A1 (de) * 2018-03-07 2019-09-12 Ifm Electronic Gmbh Optisches Messsystem zur tiefensensitiven Messung und dessen Verwendung
DE102018203584B4 (de) * 2018-03-09 2024-06-13 Robert Bosch Gmbh Betriebsverfahren für ein LiDAR-System, Steuereinheit für ein LiDAR-System, LiDAR-System und Arbeitsvorrichtung
KR102549434B1 (ko) * 2018-04-02 2023-06-28 엘지전자 주식회사 깊이 센서 제어 시스템
US10330789B1 (en) * 2018-04-10 2019-06-25 Facebook Technologies, Llc Proximity sensor system with an infrared optical element
US10999524B1 (en) 2018-04-12 2021-05-04 Amazon Technologies, Inc. Temporal high dynamic range imaging using time-of-flight cameras
CN108955641B (zh) * 2018-04-23 2020-11-17 维沃移动通信有限公司 一种深度摄像方法、深度摄像设备及移动终端
CN108563084B (zh) * 2018-05-25 2020-10-23 深圳新亮智能技术有限公司 多结构光图案三维传感系统
CN109459738A (zh) * 2018-06-06 2019-03-12 杭州艾芯智能科技有限公司 一种多台tof相机相互避免干扰的方法及系统
CN108897000B (zh) * 2018-06-19 2022-02-08 北京旷视科技有限公司 一种串扰抑制方法、装置、电子设备和计算机可读介质
US10674063B2 (en) 2018-06-20 2020-06-02 Amazon Technologies, Inc. Synchronizing time-of-flight cameras
US10708484B2 (en) * 2018-06-20 2020-07-07 Amazon Technologies, Inc. Detecting interference between time-of-flight cameras using modified image sensor arrays
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
EP3751849A4 (en) 2018-06-28 2021-03-31 Guangdong Oppo Mobile Telecommunications Corp., Ltd. DEPTH PROCESSOR AND THREE-DIMENSIONAL IMAGE DEVICE
CN112714858B (zh) 2018-07-13 2024-07-09 拉布拉多系统公司 能够在不同环境照明条件下操作的移动设备的视觉导航
US10802382B2 (en) * 2018-07-24 2020-10-13 Qualcomm Incorporated Adjustable light projector for flood illumination and active depth sensing
US10681338B1 (en) 2018-07-24 2020-06-09 Amazon Technologies, Inc. Detecting interference in depth images captured using overlapping depth cameras
KR102473494B1 (ko) 2018-08-17 2022-12-02 삼성전자주식회사 심도센싱장치 및 심도센싱장치의 동작 방법
US10812731B2 (en) * 2018-08-22 2020-10-20 Qualcomm Incorporated Adjustable receiver exposure times for active depth sensing systems
CN112702541B (zh) * 2018-08-22 2023-04-18 Oppo广东移动通信有限公司 控制方法及装置、深度相机、电子装置及可读存储介质
CN108965732B (zh) * 2018-08-22 2020-04-14 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
US11237256B2 (en) * 2018-09-19 2022-02-01 Waymo Llc Methods and systems for dithering active sensor pulse emissions
US10732285B2 (en) * 2018-09-26 2020-08-04 Qualcomm Incorporated Multi-phase active light depth system
US11212456B2 (en) * 2018-12-21 2021-12-28 Sony Group Corporation Synchronized projection and image capture
CN109788195B (zh) * 2019-01-04 2021-04-16 Oppo广东移动通信有限公司 电子设备和移动平台
CN109729250B (zh) * 2019-01-04 2021-04-30 Oppo广东移动通信有限公司 电子设备和移动平台
CN109618085B (zh) * 2019-01-04 2021-05-14 Oppo广东移动通信有限公司 电子设备和移动平台
CN109660733B (zh) * 2019-01-04 2021-04-16 Oppo广东移动通信有限公司 电子设备和移动平台
CN109660732B (zh) * 2019-01-04 2021-07-23 Oppo广东移动通信有限公司 电子设备和移动平台
CN109587303B (zh) * 2019-01-04 2021-07-30 Oppo广东移动通信有限公司 电子设备和移动平台
CN109660731B (zh) * 2019-01-04 2021-04-23 Oppo广东移动通信有限公司 电子设备和移动平台
US11151399B2 (en) * 2019-01-17 2021-10-19 Gentex Corporation Alignment system
KR102604902B1 (ko) 2019-02-11 2023-11-21 애플 인크. 펄스형 빔들의 희소 어레이를 사용하는 깊이 감지
CN109862275A (zh) * 2019-03-28 2019-06-07 Oppo广东移动通信有限公司 电子设备和移动平台
JP2022534252A (ja) * 2019-05-30 2022-07-28 コーニンクレッカ フィリップス エヌ ヴェ 符号化された同期された医療介入画像信号及びセンサ信号
CN110198409B (zh) * 2019-05-30 2021-07-09 Oppo广东移动通信有限公司 终端的控制方法及控制装置、终端及计算机可读存储介质
CN110266394B (zh) * 2019-06-10 2021-08-31 Oppo广东移动通信有限公司 调节方法、终端及计算机可读存储介质
US11500094B2 (en) 2019-06-10 2022-11-15 Apple Inc. Selection of pulse repetition intervals for sensing time of flight
US11555900B1 (en) 2019-07-17 2023-01-17 Apple Inc. LiDAR system with enhanced area coverage
US11438486B2 (en) 2019-08-26 2022-09-06 Qualcomm Incorporated 3D active depth sensing with laser pulse train bursts and a gated sensor
WO2021054342A1 (ja) * 2019-09-20 2021-03-25 ソニー株式会社 情報処理装置および制御方法
CN110850426B (zh) * 2019-11-20 2022-02-11 浙江光珀智能科技有限公司 一种tof深度相机
US11733359B2 (en) 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
US20210255327A1 (en) * 2020-02-17 2021-08-19 Mediatek Inc. Emission And Reception Of Patterned Light Waves For Range Sensing
CN113447954B (zh) * 2020-03-25 2024-06-04 深圳市光鉴科技有限公司 场景深度测量方法、系统、设备及存储介质
US11277551B2 (en) * 2020-04-03 2022-03-15 Qualcomm Incorporated Multiple optical path imaging techniques and shared emitter for active depth sensing techniques
JP7494625B2 (ja) * 2020-07-29 2024-06-04 株式会社Ｊｖｃケンウッド 赤外線撮像装置
JP7000511B1 (ja) 2020-07-31 2022-01-19 株式会社東芝 レーダ装置および電波干渉低減方法
JP7260513B2 (ja) * 2020-08-20 2023-04-18 京セラ株式会社 測距装置、車両及び測距方法
CN112098979A (zh) * 2020-09-16 2020-12-18 青岛维感科技有限公司 一种多台tof相机联合工作防干扰方法、tof相机及电子设备
CN116324487A (zh) * 2020-10-13 2023-06-23 索尼半导体解决方案公司 传感器控制系统和传感器
CN112729114A (zh) * 2020-12-29 2021-04-30 广州艾目易科技有限公司 一种具有多通讯方式的光学定位方法及系统
WO2022173517A1 (en) 2021-02-09 2022-08-18 Verily Life Sciences Llc Pulsed light imaging using rolling shutter image sensors
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities
JP2022138211A (ja) * 2021-03-10 2022-09-26 オムロン株式会社 物体検出システム、制御装置
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift
CN114643580B (zh) * 2022-03-29 2023-10-27 杭州海康机器人股份有限公司 一种机器人控制方法、装置及设备
CN118330673B (zh) * 2024-06-17 2024-10-15 欧菲微电子(南昌)有限公司 深度成像模组、深度成像方法及电子装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102638692A (zh) * 2011-01-31 2012-08-15 微软公司 降低多个红外深度相机之间的干扰
CN102880354A (zh) * 2011-07-15 2013-01-16 纬创资通股份有限公司 光学影像式触控装置与触控影像处理方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6445814B2 (en) * 1996-07-01 2002-09-03 Canon Kabushiki Kaisha Three-dimensional information processing apparatus and method
EP1262751B1 (de) * 2001-06-01 2011-04-06 Ivoclar Vivadent AG Vorrichtung und Verfahren zur Lichtanalyse
EP1665778A2 (en) 2003-08-26 2006-06-07 Redshift Systems Corporation Infrared camera system
WO2005052633A1 (de) * 2003-10-29 2005-06-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Abstandssensor und verfahren zur abstandserfassung
US20070285554A1 (en) * 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
US8471892B2 (en) * 2006-11-23 2013-06-25 Z. Jason Geng Wide field-of-view reflector and method of designing and making same
CN101453662B (zh) 2007-12-03 2012-04-04 华为技术有限公司 立体视频通信终端、系统及方法
GB0921461D0 (en) 2009-12-08 2010-01-20 Qinetiq Ltd Range based sensing
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
JP5696872B2 (ja) * 2010-03-26 2015-04-08 アイシン精機株式会社 車両周辺監視装置
US8896668B2 (en) 2010-04-05 2014-11-25 Qualcomm Incorporated Combining data from multiple image sensors
US20110273379A1 (en) * 2010-05-05 2011-11-10 Google Inc. Directional pad on touchscreen
EP2487504A1 (en) * 2011-02-10 2012-08-15 Technische Universität München Method of enhanced depth image acquisition
US20120249740A1 (en) * 2011-03-30 2012-10-04 Tae-Yon Lee Three-dimensional image sensors, cameras, and imaging systems
TWI606722B (zh) * 2011-06-30 2017-11-21 微軟技術授權有限責任公司 用於減少視訊編碼及解碼中之延遲的方法、系統及電腦可讀取媒體
US20130095920A1 (en) 2011-10-13 2013-04-18 Microsoft Corporation Generating free viewpoint video using stereo imaging
KR101854188B1 (ko) 2011-10-25 2018-05-08 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법
US8523076B2 (en) * 2012-01-10 2013-09-03 Metrologic Instruments, Inc. Omnidirectional laser scanning bar code symbol reader generating a laser scanning pattern with a highly non-uniform scan density with respect to line orientation
KR101975971B1 (ko) * 2012-03-19 2019-05-08 삼성전자주식회사 깊이 카메라, 다중 깊이 카메라 시스템, 그리고 그것의 동기 방법
US10477184B2 (en) 2012-04-04 2019-11-12 Lifetouch Inc. Photography system with depth and position detection
US9188433B2 (en) * 2012-05-24 2015-11-17 Qualcomm Incorporated Code in affine-invariant spatial mask
EP4221187A3 (en) 2012-09-10 2023-08-09 Aemass, Inc. Multi-dimensional data capture of an environment using plural devices
US9625994B2 (en) * 2012-10-01 2017-04-18 Microsoft Technology Licensing, Llc Multi-camera depth imaging
US20150002734A1 (en) * 2013-07-01 2015-01-01 Motorola Mobility Llc Electronic Device with Modulated Light Flash Operation for Rolling Shutter Image Sensor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102638692A (zh) * 2011-01-31 2012-08-15 微软公司 降低多个红外深度相机之间的干扰
CN102880354A (zh) * 2011-07-15 2013-01-16 纬创资通股份有限公司 光学影像式触控装置与触控影像处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Intelligent Sensor-Scheduling for Multi-Kinect-Tracking;Florian Faion等;《2012 IEEE/RSJ International Conference on Intelligent Robots and Systems》;20121012;全文 *

Also Published As

Publication number Publication date
US10419703B2 (en) 2019-09-17
CN106461783A (zh) 2017-02-22
US20150373322A1 (en) 2015-12-24
KR20170017927A (ko) 2017-02-15
JP2017527777A (ja) 2017-09-21
CA2951461A1 (en) 2015-12-23
ES2690270T3 (es) 2018-11-20
WO2015195318A1 (en) 2015-12-23
JP6517244B2 (ja) 2019-05-22
EP3158286A1 (en) 2017-04-26
EP3158286B1 (en) 2018-07-18
KR102376285B1 (ko) 2022-03-17
BR112016029603A2 (pt) 2017-08-22
HUE039700T2 (hu) 2019-01-28

Similar Documents

Publication Publication Date Title
CN106461783B (zh) 使用时间共享的自动的多个深度相机同步
JP7329444B2 (ja) 機械知覚のためのシステム及び方法
CN107113415B (zh) 用于多技术深度图获取和融合的方法和设备
KR101547740B1 (ko) 증강 현실에서 모션 검출을 위한 구조화 광 투사
CN113272863A (zh) 基于双像素图像的深度预测
US10440349B2 (en) 3-D 360 degrees depth projector
US20140028799A1 (en) Use of Color and Intensity Modulation of a Display for Three-Dimensional Object Information
US9047514B2 (en) Apparatus, system and method for projecting images onto predefined portions of objects
CN108513078A (zh) 用于通过深度传感相机使用光发射在弱光条件下捕获视频影像的方法和系统
CN109425305A (zh) 使用多个脉冲式结构光投影仪的深度测量
CN108989679A (zh) 一种合影拍照的方法和装置
CN109425306A (zh) 深度测量组件
CN109709756A (zh) 一种投影器、摄像头模组和终端设备
US10444509B2 (en) Near eye diffractive holographic projection method
CN118176739A (zh) 多传感器超分辨率扫描和捕获系统
KR101399274B1 (ko) 다중 패턴 빔을 이용하는 3차원 촬영 장치 및 방법
US11785200B1 (en) Stage studio for immersive 3-D video capture
US11156852B2 (en) Holographic projection device, method, apparatus, and computer readable storage medium
Seidel et al. Non-line-of-sight snapshots and background mapping with an active corner camera
EP3462128B1 (en) 3d 360-degree camera system
US9915920B2 (en) Holographic image generation
CN114019752B (zh) 全息投影方法和系统
CN114638924B (zh) 散射瞬态图像仿真方法、应用方法及计算机可读存储介质
Gutierrez-Barragan Compressive Representations for Single-Photon 3D Cameras
Jiao et al. A method for interfere elimination of structured light cameras

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant