CN110471050A - 结构光成像系统和扫描场景的方法 - Google Patents

结构光成像系统和扫描场景的方法 Download PDF

Info

Publication number
CN110471050A
CN110471050A CN201910367333.0A CN201910367333A CN110471050A CN 110471050 A CN110471050 A CN 110471050A CN 201910367333 A CN201910367333 A CN 201910367333A CN 110471050 A CN110471050 A CN 110471050A
Authority
CN
China
Prior art keywords
region
segment
sub
predetermined quantity
projector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910367333.0A
Other languages
English (en)
Inventor
王一兵
韩承勳
石立龙
罗炳勳
伊利亚·奥夫桑尼科夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110471050A publication Critical patent/CN110471050A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G01S13/426—Scanning radar, e.g. 3D radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种结构光成像系统和一种扫描场景的方法。所述结构光成像系统包括投射器、图像传感器和控制器。投射器将结构光图案投射到场景的被选择的片段上，其中，场景的被选择的片段包括在第一方向上的第一预定尺寸和在与第一方向基本正交的第二方向上的第二预定尺寸。图像传感器对场景的被选择的片段进行扫描并且产生与被选择的片段的至少一个区域中的每个区域对应的输出。图像传感器和投射器以极线方式同步。控制器结合到图像传感器并检测物体是否位于每个被扫描的区域内，并且控制投射器以使结构光图案朝向场景的被选择的片段中尚未检测到物体的区域投射第一多次。

Description

结构光成像系统和扫描场景的方法
本专利申请要求于2018年5月10日提交的第62/669,931号美国临时专利申请以及于2018年7月17日提交的第16/038,146号美国非临时专利申请的优先权权益，所述美国专利申请的公开通过引用全部包含于此。
技术领域
在这里公开的主题涉及一种结构光系统和一种用于该结构光系统的方法，更具体地，涉及一种具有高灵敏度的低功率结构光系统和一种用于该具有高灵敏度的低功率结构光系统的方法。
背景技术
在高的环境光照条件下，为了检测小于大约四米的物体同时也能检测更远得多的物体，三维(3D)结构光相机需要高的动态范围。高的环境光照条件可使相机的传感器的像素对于短程物体饱和，同时也显著降低对于较长程物体的信噪比(SNR)。
发明内容
示例实施例提供一种结构光成像系统，所述结构光成像系统可包括投射器、图像传感器和控制器。投射器可将结构光图案投射到包括一个或更多个物体的场景的被选择的片段上，场景的被选择的片段可包括在第一方向上的第一预定尺寸和在与第一方向基本正交的第二方向上的第二预定尺寸。图像传感器可对场景的被选择的片段进行扫描并且可产生与被选择的片段的区域对应的输出，图像传感器和投射器可以以极线方式同步。控制器可结合到图像传感器并可检测物体是否位于被扫描的区域内，如果已经在被扫描的区域中检测到物体，则控制投射器以使结构光图案朝向场景的被选择的片段的与被扫描的区域不同的其它区域投射第一多次。在一个实施例中，控制器还可基于被扫描的区域中的黑色像素与白色像素之间的强度差来确定检测到的物体的反射率。在另一实施例中，被选择的片段的在第一方向上的第一预定尺寸可大于被选择的片段的在第二方向上的第二预定尺寸，控制器还可控制投射器以被选择的顺序朝向第一预定数量的片段投射结构光图案，图像传感器可以以被选择的顺序对第一预定数量的片段进行扫描，被选择的顺序可以是随机顺序。
另一示例实施例提供一种结构光成像系统，所述结构光成像系统可包括投射器、图像传感器和控制器。投射器可将结构光图案投射到包括一个或更多个物体的场景的被选择的片段上，其中，场景的被选择的片段可包括在第一方向上的第一预定尺寸和在与第一方向基本正交的第二方向上的第二预定尺寸，被选择的片段的在第一方向上的第一预定尺寸可大于被选择的片段的在第二方向上的第二预定尺寸。图像传感器可对场景的被选择的片段进行扫描并且可产生与被选择的片段的区域对应的输出，图像传感器和投射器可以以极线方式同步。控制器可结合到图像传感器并可检测物体是否位于被扫描的区域内，如果已经在被扫描的区域中检测到物体，则控制投射器以使结构光图案朝向场景的被选择的片段的与被扫描的区域不同的其它区域投射第一多次。在一个实施例中，控制器还可控制投射器以被选择的顺序朝向第一预定数量的片段投射结构光图案，图像传感器可以以被选择的顺序对第一预定数量的片段进行扫描，被选择的顺序可以是随机顺序。
还一示例实施例提供一种结构光成像系统扫描场景的方法，所述方法可包括：将结构光图案从投射器投射到包括一个或更多个物体的场景的被选择的片段上，场景的被选择的片段包括在第一方向上的第一预定尺寸和在与第一方向基本正交的第二方向上的第二预定尺寸；使用图像传感器对场景的被选择的片段进行扫描，图像传感器和投射器以极线方式同步；产生与被选择的片段的区域对应的输出；检测物体是否位于被扫描的区域内；以及如果已经在被扫描的区域中检测到物体，则使用控制器控制投射器以使结构光图案朝向场景的被选择的片段的与被扫描的区域不同的其它区域投射第一多次。在一个实施例中，结构光图案可包括在第一方向上延伸的多个子图案的行，每个子图案可以与至少一个其它子图案相邻，每个子图案可与每个其它子图案不同，每个子图案可包括位于子行中的第一预定数量的区域和位于子列中的第二预定数量的区域，第一预定数量和第二预定数量可以是整数，每个区域可以是基本相同的尺寸，每个子行可在第一方向上延伸并且每个子列可在与第一方向基本正交的第二方向上延伸。在一个实施例中，图像传感器可包括多个全局快门阵列，全局快门阵列与极线扫描线对应，并且图像传感器还可以以全局快门模式和卷帘快门模式中的一种来操作。在一个实施例中，投射器可离开被扫描的区域投射结构光图案第一多次以检测比被扫描的区域中检测到的物体离得更远的物体。在又一实施例中，所述方法还可包括基于被扫描的区域中的黑色像素与白色像素之间的强度差使用控制器确定被扫描的区域中检测到的物体的反射率。
附图说明
在下面的部分中，将参照图中示出的示例性实施例来描述在这里公开的主题的方面，在附图中：
图1描绘根据在这里公开的主题的结构光成像系统的示例实施例的框图；
图2A描绘参考光图案的示例实施例；
图2B描绘基础光图案的示例实施例；
图3描绘根据在这里公开的一个实施例的极线扫描或点扫描可如何执行3D深度测量的示例；
图4A是已经使用非极线成像技术通过相机成像的照亮的反光迪斯科球的场景；
图4B是已经使用极线成像技术成像的照亮的反光迪斯科球的同一场景；
图5描绘根据在这里公开的主题的已经划分成可逐个片段地投射到场景上的片段的示例参考光图案；
图6描绘根据在这里公开的主题的使用结构光相机系统来以逐个片段的方式选择性地投射/扫描场景的方法的示例流程图；
图7A描绘根据在这里公开的主题的可用于相机中的传感器的示例堆叠架构；
图7B描绘根据在这里公开的主题的像素阵列的像素的示例实施例；以及
图8描绘根据在这里公开的主题的场景的检测的片段的输出的示例部分。
具体实施方式
在下面的详细描述中，为了提供公开的彻底的理解，阐述许多具体的细节。然而，本领域技术人员将理解的是，可在没有这些具体细节的情况下实践公开的方面。在其它情况下，已经不详细地描述公知的方法、程序、组件和电路以不使在这里公开的主题模糊。
贯穿该说明书参照“一个实施例”或“实施例”意思是关于实施例描述的具体特征、结构或特性可包括在这里公开的至少一个实施例中。因此，贯穿该说明书在各种地方的短语“在一个实施例中”或“在实施例中”或“根据一个实施例”(或具有相似含义的其它短语)的出现可不必全部参照相同的实施例。而且，具体特征、结构或特性可以以任何适合的方式结合在一个或更多个实施例中。就这一点而言，如在这里使用的，词语“示例性的”意思是“用作示例、实例或例证”。在这里描述为“示例性的”的任何实施例不被解释为必定优选于或优于其它实施例。另外，根据在这里的讨论的上下文，单数术语可包括相应的复数形式，并且复数术语可包括相应的单数形式。还注意到的是，在这里示出且讨论的各种图(包括组件图)是仅用于说明性的目的而不是按比例绘制的。相似地，各种波形和时序图仅出于说明性的目的而示出。例如，为了清楚，可相对于其它元件夸大一些元件的尺寸。此外，如果认为适当，附图标号已经在图中重复以指示相应和/或类似的元件。
在这里使用的术语仅出于描述具体示例性实施例的目的并且不意图限制要求保护的主题。除非上下文另外清楚地指示，否则如在这里使用的单数形式“一个(种/者)”和“所述(该)”也意图包括复数形式。还将理解，当在该说明书中使用术语“包括”及其变型时，说明存在陈述的特征、整数、步骤、操作、元件和/或组件，但不排除存在或添加一个或更多个其它特征、整数、步骤、操作、元件、组件和/或其组合。如在这里使用的术语“第一”、“第二”等用作它们在前面的名词的标号，并且除非明确如此定义，否则不暗含任何类型的顺序(例如，空间的、时间的、逻辑的等)。而且，相同的附图标号可遍及两个或更多个图以表示具有相同或相似功能的部件、组件、块、电路、单元或模块。然而，这样的用法仅用于简化图示并且易于讨论；不暗含的是，这样的组件或单元的结构或架构细节遍及所有实施例是相同的或这样的共同参照的部件/模块是用于实现在这里公开的具体实施例的教导的唯一方式。
除非另外定义，否则在这里使用的所有的术语(包括技术术语和科学术语)具有与该主题所属领域的普通技术人员通常理解的含义相同的含义。还将理解的是，除非如在这里清楚地定义，否则诸如在通用词典中定义的那些术语的术语应该被解释为具有与他们在相关领域的背景下的含义一致的含义，并且将不以理想化或过于形式化的含义来解释。
在这里公开的实施例提供一种结构光3D系统，该结构光3D系统可在户外针对中程应用使用，并且可适合于在例如智能手机、无人机和增强现实/虚拟现实(AR/VR)设备上使用。
在这里公开的一个实施例提供一种结构光成像系统，该结构光成像系统可包括投射器/扫描器，该投射器/扫描器可被控制成以逐个片段的方式来选择性地对场景进行投射/扫描。在一个实施例中，所选择的可控制投射器/扫描器的顺序可以是随机顺序。投射器/扫描器可使用具有相对高的峰值光功率和相对短的脉冲持续时间的脉冲。图像传感器可与投射器/扫描器同步以使用与投射器的极线平面对应的具有全局快门布置的子像素阵列来拍摄图像，由此拒绝会导致深度误差的多路径反射，由此避免使光学传感器饱和同时也提供高的SNR。每个片段的扫描重复度可基于片段内的物体的检测到的距离和检测到的反射率来确定。可选择地，每个极线平面的扫描重复度可基于极线平面内的物体的检测到的距离和检测到的反射率来确定。投射的光可在已经检测到同一片段或平面上的物体之后重新定向为朝向所述片段或平面的其它部分。因此，与使用典型的CMOS图像传感器(CIS)的传统方法相比，中程3D检测所需的光功率可以小两个数量级。
在一个实施例中，图像传感器可以是具有高转换增益和快速读出的图像传感器，并且可与提供极线平面成像技术的光投射器/扫描器一起使用以克服高环境光照条件。典型CIS不会具有用于检测可在近程处和较长距离处反射离开物体的每个光电子的足够高的转换增益。可具有用于2D成像的小像素间距的典型CIS通常包括不具有在所有量程处检测物体的足够高的动态范围的满阱，而具有大像素间距和全局快门的典型CIS不具有用于具有用于3D成像的足够精细的视差分辨率的足够大的空间分辨率。在可选的实施例中，用于在这里公开的系统的图像传感器可以是具有非常小的像素间距、高灵敏度、低满阱容量和快速读出时间的特殊CIS。
在这里公开的另一实施例涉及一种与典型技术相比使用较小的光功率来产生深度图信息的方法。可使用具有高峰值光功率并且具备短持续时间脉冲的投射器来投射结构光图案。可在与投射器极线同步中控制针对传感器的每个子阵列具有全局快门和短积分时间的传感器，以显著抑制强的环境光照条件，并且减小由投射器使用的平均光功率。接近相机的物体可由于从图像传感器的小像素间距可获得的较精细的视差而具有较大的深度分辨率。如果检测到接近图像传感器的物体，则投射的光重新定向到场景的其它区域以检测较远离的任何物体。也可基于已经从物体反射的光减去环境光来确定物体的反射率。
图1描绘了根据在这里公开的主题的结构光成像系统100的示例实施例的框图。结构光成像系统100可包括投射器101、相机102以及控制器或处理装置103。在操作中，控制器103将参考光图案104发送到投射器101，投射器101将参考光图案104投射到由图1中的线105表示的场景上。相机102将具有被投射的参考光图案104的场景拍摄为图像106。图像106被传输到控制器103，控制器103基于图像106中拍摄的参考光图案相对于参考光图案104的视差来产生深度图107。深度图107包括与图像106的区块(patch)对应的预计的深度信息。
在一个实施例中，控制器103可按极线方式将投射器101和相机102控制为同步。此外，投射器101和相机102可形成超光子(metaphotonics)投射器/扫描器系统，该系统可用于以极线方式逐行地使用高峰值功率、短持续时间的光脉冲来照亮场景105。
控制器103可以是经由软件指令、专用集成电路或者两者的组合编程的微处理器或个人计算机。在一个实施例中，由控制器103提供的处理可经由软件、被图形处理单元(GPU)加速的软件、多核系统或能够实现处理操作的专用硬件来完整地实现。硬件配置和软件配置两者都可提供并行的不同阶段。结构光成像系统100的一个实施方式可以是诸如但不限于智能手机、蜂窝电话或数字相机的手持设备的一部分。
在一个实施例中，投射器101和相机102可在可见光区域中或在对人眼不可见的红外光光谱中进行匹配。被投射的参考光图案可在投射器101和相机102两者的光谱范围内。此外，投射器101的分辨率和相机102的分辨率可不同。例如，投射器101可按视频图形阵列(VGA)分辨率(例如，640×480像素)投射参考光图案104，相机102可具有较高的分辨率(例如，1280×720像素)。在这样的配置中，可对图像106进行降低采样(down-sampled)和/或可分析仅由投射器101照亮的区域以产生深度图107。
图2A描绘了在图1中示出的参考光图案104的示例实施例。在一个实施例中，参考光图案104可包括多个参考光图案元素，所述多个参考光图案元素可沿水平方向和竖直方向都重复以完全填充参考光图案104。图2B描绘了基础光图案108的示例实施例，所述基础光图案108在水平方向(即，图2B中的x方向)上是48个点宽，在竖直方向(即，图2B中的y方向)上是四个点高。其它基础光图案是可能的。为了简单起见，点对像素的比可以是1:1，即，每个投射点可正好被相机(诸如相机102)中的一个像素拍摄。在一个实施例中，可通过在水平方向上重复10次基础光图案108并且在竖直方向上重复160次基础光图案108来形成图2A的参考光图案104。
如果例如4×4像素窗叠加在基础光图案108上并且水平地滑动(在边缘处进行包裹)，则将存在48个独特的子图案。如果4×4像素窗在基础光图案108的高度的四个像素之上竖直地滑动(进行包裹)同时4×4像素窗也水平地滑动，则将存在总共192个独特的子图案。
返回参照图1，x轴被认为是沿结构光成像系统100前方的水平方向，y轴是竖直方向(在该视图中离开页面)，z轴在被成像的场景105的大致方向上远离结构光成像系统100延伸。对于深度测量而言，投射器101的光轴和相机102的光轴可平行于z轴。其它光学布置也可用于实现这里描述的原理并且被认为在这里公开的主题的范围之内。
在一个实施例中，投射器101可包括下列光源，诸如，但不限于，二极管激光器、发射可见光的发光二极管(LED)、近红外(NIR)激光器、点光源、可见光光谱中的单色照明源(诸如，白色灯和单色仪的组合)或者任何其它类型的激光光源。在一个实施例中，激光光源可固定在结构光成像系统100的外壳内的一个位置中，并且可在x方向和y方向上可旋转。此外，投射器101可包括下列投射光学器件，诸如，但不限于，聚焦透镜、玻璃/塑料表面和/或其它圆柱体光学元件，它们可将来自激光光源的激光束聚集为在场景105中的物体的表面上的点或斑。
相机102可包括光学元件，其可将场景105中的物体上的光斑聚焦为可包括像素阵列的图像传感器上的光斑。相机102也可包括聚焦透镜、玻璃/塑料表面和/或其它圆柱体光学元件，它们将从场景105中的物体接收的反射光聚集到二维(2D)阵列中的一个或更多个像素上。像素的2D阵列可形成图像平面，在该图像平面中，每个相应行的像素形成场景105上的一条扫描线的极线(epipolar line)。在一个实施例中，相机102的图像传感器可以是具有高转换增益和快速读出的图像传感器，并且可用作提供极线平面成像技术以克服高环境光照条件的光投射器/扫描器的一部分。在一个实施例中，所述图像传感器的每个像素可包括可具有小于大约200e-的满阱容量，并且可具有可大于大约500μV/e-的转换增益的光电二极管。图像传感器也可包括大约1μm的小像素间距。
如虚线108和109所指示的，投射器101可使用点扫描或极线扫描技术来照亮场景。即，可在处理装置103的控制下在x-y方向上遍及场景105地利用来自激光光源的光束执行点扫描。如参照图3更详细讨论的，点扫描技术可将光斑沿扫描线投射在场景105中的任何物体的表面上。从场景105的点扫描反射的光可包括一从投射器101的激光光源接收到光照就从场景105中的物体的表面反射的光子或者被场景105中的物体的表面散射的光子。从照亮的物体接收到的光可经由相机102中的采集光学器件而被聚焦到例如2D像素阵列的一个或更多个像素上。相机的像素阵列可将接收到的光子转换成对应的电信号，然后通过控制器103将所述电信号处理成场景105的3D深度图像。在一个实施例中，控制器103可使用针对深度测量的三角测量技术。
图3描绘了根据在这里公开的一个实施例可如何执行极线扫描或点扫描以进行3D深度测量的示例。在图3中，作为投射器101的一部分的激光光源203的x-y旋转能力通过箭头201和202标示，并且分别表示激光在x方向(具有角度“β”)上以及在y方向(具有角度“α”)上的角运动。在一个实施例中，控制器103可基于例如扫描指令来控制激光光源203的x-y旋转运动。
如图3中所描绘的，激光光源203可通过沿一维(1D)水平扫描线投射光斑来对物体204的表面进行点扫描，所述一维(1D)水平扫描线中的两条一维水平扫描线SR 205和SR+1206通过图3中的虚线来标识。物体204的表面的曲率致使光斑207-210形成图3中的扫描线SR 205。为了方便并且为了清楚起见，不使用参考标记来标识形成扫描线SR+1 206的光斑。激光光源203可在例如从左到右的方向上每次一个斑地沿着扫描线SR、SR+1等等对物体204进行扫描。
R、R+1等等的值也可表示相机102的2D像素阵列211中的像素的具体行，这些值是已知的。例如，在图3中的2D像素阵列211中，使用参考标号212来标识像素行R，使用参考标号213来标识行R+1。应该理解，已仅出于说明性目的从像素的多个行中选择2D像素阵列211的行R和行R+1。
包含2D像素阵列211中的像素行的平面可称为图像平面，而包含诸如线SR和SR+1的扫描线的平面可称为扫描平面。在图3的实施例中，使用极线几何来对图像平面和扫描平面定向，使得2D像素阵列211中的像素的每个行R、R+1等等形成对应的扫描线SR、SR+1等等的极线。如果被照亮的斑(在扫描线SR中)在图像平面上的投射可沿行R自身的线形成有区别的斑，则像素的行R可被认为是对应的扫描线SR的极线。例如，在图3中，箭头214描绘了通过激光光源203来照亮光斑208；而箭头215则描绘了正在通过聚焦透镜216沿2D像素阵列211的行R 212对光斑208进行成像或投射。虽然未在图3中指出，但是应该理解，将通过2D像素阵列211的行R中的对应像素对所有的光斑207-210进行成像。因此，在一个实施例中，激光光源203和2D像素阵列211的诸如位置和方向的物理布置可以使得物体204的表面上的扫描线中的被照亮的光斑可由2D像素阵列211中的对应行中的像素拍摄或检测——像素的所述对应行因而形成了所述扫描线的极线。
2D像素阵列211中的像素可按行和列来布置。可通过2D像素阵列211中的对应的行和列来参照被照亮的光斑。例如，在图3中，扫描线SR中的光斑208被指定为XR,i以指示光斑208可通过2D像素阵列211中的行R和列i(Ci)中的对应的像素进行成像。列Ci由虚线217标示。可类似地标识其它被照亮的斑。应该注意，下列情况是可能的：从两个或更多个光斑反射的光可通过一行中的单个像素来接收，或者可选择地，从单个光斑反射的光可通过一行像素中的多于一个像素来接收。也可利用时间戳来标识光斑。
在图3中，箭头218表示光斑208距沿相机102前方的x轴(诸如图1中示出的x轴)的深度或距离Z(沿z轴)。在图3中，x轴由219标示，其可被想象为包含在竖直平面中，所述竖直平面还包含投射器101的投射光学器件(未标示)和相机102的采集光学器件(未标示)。然而，为了易于解释三角测量法，在图3中，激光光源203而不是投射光学器件被描绘在x轴219中。使用基于三角测量的方法，Z的值可使用下面的等式来确定：
在等式(1)中，参数h是采集光学器件(未标示)与图像传感器211(被假设为在采集光学器件后面的竖直平面中)之间的距离(沿z轴)；参数d是激光光源203与相机102所关联的采集光学器件(由透镜216表示)之间的偏移距离；参数q是相机102的采集光学器件与检测对应光斑的像素(在图3的示例中，检测/成像像素i由与光斑XR,i208关联的列Ci表示)之间的偏移距离；参数θ是针对所考虑的光斑(在图3的示例中，光斑208)的光源的扫描角或波束角。可选择地，参数q也可被认为是光斑在2D像素阵列211的视场内的偏移。等式(1)中的参数也标示在图3中。基于结构光成像系统100的物理构造，可预先确定等式(1)的右侧上的参数的值。
从等式(1)可看出，仅参数θ和q对于给定的点扫描是可变的。参数h和d由于结构光成像系统100的物理几何而本质上是固定的。因为行R 212是扫描线SR的极线，所以可通过水平方向上的图像位移来反映物体204的深度差或深度轮廓，所述水平方向上的图像位移由被成像的不同光斑的参数q的值来表示。因此，根据已知的扫描角度θ的值和被成像的光斑的对应位置(由参数q表示的)，可使用等式(1)的三角测量来确定到光斑的距离Z。应该注意，针对距离测量的三角测量被描述在包括例如Brown等的美国专利申请公布第2011/0102763A1号的相关文献中，其中，与基于三角测量的距离测量相关的公开通过引用全部包含于此。
高环境光照条件会使传感器的像素对于短程物体饱和，同时也显著地降低了较长程物体的信噪比(SNR)。在产生预估的深度信息时，可利用极线扫描或点扫描技术来减小由高环境光照条件导致的负面效果。例如，图4A是已经使用非极线成像技术由相机成像的被照亮的反光迪斯科球的场景。图4A中的被成像的场景包括已经反射离开迪斯科球的大量的多路径反射。多路径反射会在3D深度测量中引入误差。
与图4A相反，图4B是已经使用极线成像技术成像的被照亮的反光迪斯科球的同一场景。因为极线成像技术拒绝了多路径反射，所以与在图4A中的图像相比，在图4B的图像中可观察到的是已经反射离开迪斯科球的显著更少的光斑。另外，在传感器极线上将仅感测到与距离有关的视差。
返回参照图1，结构光成像系统100的控制器103可将投射器101和相机102控制成以极线方式来对场景的片段进行成像。例如，图5描绘了根据在这里公开的主题的示例参考光图案400，所述示例参考光图案400已经被划分成可逐个片段地投射到场景上的片段401-408。虽然示例参考光图案400在图5中已经被划分成八个片段，但是应该理解，可利用任何数量的片段来对场景进行扫描。
可使用相对高的峰值光功率并且利用相对短持续时间的脉冲以极线方式通过投射器101来选择性地投射示例参考光图案400的每个片段401-408。在一个实施例中，峰值光功率可以是大约4W而且具有大约0.2μs的脉冲持续时间。相机102可与投射器101同步，并且可包括具有低位模数转换器(ADC)的快速读出电路。
通常在一次扫描中，被扫描的片段中的位于相对短程处的物体将在相机102的输出中被检测到。在已经检测到物体之后，可通过将脉冲朝向被扫描的片段中的还没有检测到物体的区域重新定向以更有效地使用投射器101的光功率。在一个实施例中，投射器101的光功率可被定向成对片段中没有检测到短程物体的区域重复扫描选定的次数。可基于积累或收集(binning)反射光子来检测片段中已经重新定向光功率的区域中的任何物体。被重复扫描的区域可以按照任何顺序。
可被扫描的场景的片段的顺序可以按照包括随机顺序在内的任何顺序。另外，虽然片段在图5中被描绘为具有大致水平的矩形形状，但是如果相机和投射器/扫描器具有竖直位移，则片段可以可选择地具有大致竖直的矩形形状。作为又一可选择的，可以选择性地对场景的具有任何封闭形状的区域进行扫描，而不使用片段。
图6描绘了根据在这里公开的主题的使用结构光成像系统来以逐个片段的方式选择性地对场景进行投射/扫描的方法500的示例流程图。所述方法在501处开始。在502处，对指数n进行初始化。在503处，使用极线成像技术朝向场景的被选择的片段投射结构光图案。投射器可控制成使用具有相对短的脉冲的相对高的光功率。在504处，与503中的投射脉冲同步地使用极线成像技术来扫描场景的被选择的片段。在505处，确定是否已经在被选择的片段内检测到物体。可基于已经接收的光电子的数量来检测短程物体。
如果在505处检测到了物体，则流程继续至506，在506处使用极线成像技术对被选择的片段中尚未检测到物体的区域进行扫描。即，把投射器的光功率定向到被选择的片段中尚未检测到物体的区域，并且使用极线成像技术来对所述区域进行扫描。结构光图案的重复投射可仅被定向到尚未检测到物体的区域并且可显露位于较长程处的物体。在507处，确定被扫描的任何区域中是否已经检测到物体。流程继续至508，在508处指数n递增。在509处，确定指数n是否等于预定数量N，诸如8。可使用用于预定数量N的其它预定值。
如果在509处确定指数n不等于预定数量N，则流程返回至506，在506处以极线成像方式对被选择的片段中尚未检测到物体的区域进行扫描。如果在509处指数n等于预定数量N，则流程继续至512，在512处确定是否已经扫描了所有的片段。如果是这样的话，则流程继续至513，在513处所述方法结束。如果在512处并未扫描所有的片段，则流程返回至502。
如果在505处确定没有检测到物体，则流程继续至510，在510处指数n递增，然后在511处测试。如果在511处指数n不等于预定数量N，则流程返回至503。如果在511处指数n等于预定数量N，则流程继续至512，在512处确定是否已经扫描了所有的片段。
图7A描绘了根据在这里公开的主题的可用于相机102中的传感器的示例堆叠架构600。堆叠架构600可包括顶层中的像素阵列601以及底层中的外围和ADC电路602。像素阵列601可包括多个像素603，所述多个像素603中的仅一个像素603已经标示在图7A中。像素阵列601可布置成包括多个全局快门阵列604，所述多个全局快门阵列604中的仅一个全局快门阵列604已经被标示。在一个实施例中，每个全局快门阵列604可与一条极线投射/扫描线对应。其它尺寸能够用于全局快门阵列。在可选的实施例中，像素阵列601可布置成包括可以以卷帘快门模式操作的快门阵列。外围和ADC电路602可包括低位ADC阵列605，所述低位ADC阵列605包括多个ADC 606，所述多个ADC 606中的仅一个ADC 606已经被标示。在一个实施例中，每个ADC 606可通过快速读出电路(如由虚线所标示的)结合到对应的像素603，并且可具有四位或更少位的分辨率。外围和ADC电路602也可包括行驱动器阵列607以及偏置和其它电路608。
图7B描绘了根据在这里公开的主题的像素阵列601的像素603的示例实施例。在一个实施例中，像素603可具有公知的包括QIS光电探测器的四个晶体管(4T)结构。在另一示例实施例中，像素603可具有共用结构。每个像素603包括光电二极管，所述光电二极管可具有小于大约200e-的满阱容量，并且可具有可大于大约500μV/e-的转换增益。也可使用大约1μm的小像素间距。
图8描绘了根据在这里公开的主题的场景的被检测的片段的输出的示例部分700。在一个实施例中，所述片段可包括480条扫描线，这些扫描线可将检测到的来自像素的输出收集在4×4收集器(bin)中。示例部分700的被标示为黑色的区域表示已经接收到仅环境光光子的像素。被标示为白色的像素是已经接收到环境光光子加上参考光图案的反射光子的像素。例如，示例部分700的区域701可包括被检测到的物体，对于该示例来说，所述被检测到的物体具有0.3m的量程。黑色像素接收到少于一个电子，而白色像素接收到30个电子。区域702可包括具有1m的量程的被检测到的物体。使用十次扫描，黑色像素接收到总共0.2个电子，白色像素接收到30个电子。区域703可包括具有4m的量程的被检测到的物体。使用十次扫描和4×4收集，黑色像素接收到3.2个电子，白色像素接收到40个电子。
最接近相机的物体反射被像素阵列601检测到的更多光子，而较远离的物体反射被像素阵列601检测到的较少光子。被检测到的光子的基于物体的量程而在数量上的差异在图8中被描绘为所检测到的参考光图案的白色部分的强度。一旦检测到物体，则来自例如图1中的投射器101的投射光可重复地重新定向到已检测到极少光子或尚未检测到光子的其它区域，直到检测到物体为止。可以使用收集(binning)来采集足够的反射光子以检测物体。例如，区域701可使用仅一次扫描来检测物体，而可能需要十次扫描来检测区域702和703中的物体。
可基于黑色像素与白色像素之间的差异来预估物体的反射率。即，示例部分700的被标示为黑色的区域表示已经接收到仅环境光光子的像素，而被标示为白色的像素是已经接收到环境光光子再加上参考光图案的反射光子的像素。两者之间的差异表示有效电子的数量。有效电子的理论数量与物体的距离有关，物体的距离可使用等式(1)的基于三角测量的方法来获得。通过确定有效电子的接收数量与理论数量的比，可确定被具体的像素拍摄的物体的反射率。
如本领域技术人员将认识到的，在这里描述的创新构思可在宽范围的应用内修改和变化。因此，要求保护的主题的范围不应局限于上面讨论的任何特定的示例性教导，而是由权利要求代替地限定。

Claims (20)

1.一种结构光成像系统，所述结构光成像系统包括：
投射器，将结构光图案投射到包括一个或更多个物体的场景的被选择的片段上，场景的被选择的片段包括在第一方向上的第一预定尺寸和在与第一方向基本正交的第二方向上的第二预定尺寸；
图像传感器，对场景的被选择的片段进行扫描并且产生与被选择的片段的区域对应的输出，图像传感器和投射器以极线方式同步；以及
控制器，结合到图像传感器，检测物体是否位于被扫描的区域内，并且如果已经在被扫描的区域中检测到物体，则控制投射器以使结构光图案朝向场景的被选择的片段的与被扫描的区域不同的其它区域投射第一多次。
2.如权利要求1所述的结构光成像系统，其中，结构光图案包括：
多个子图案的行，在第一方向上延伸，
每个子图案与至少一个其它子图案相邻，
每个子图案与每个其它子图案不同，
每个子图案包括位于子行中的第一预定数量的区域和位于子列中的第二预定数量的区域，其中，第一预定数量和第二预定数量是整数，
第一预定数量的区域和第二预定数量的区域中的每个区域包括基本相同的尺寸，
每个子行在第一方向上延伸，并且
每个子列在第二方向上延伸。
3.如权利要求2所述的结构光成像系统，其中，所述多个子图案包括48个子图案，
其中，第一预定数量和第二预定数量彼此相等，并且
其中，第一预定数量的区域和第二预定数量的区域中的区域与结构光图案的点对应。
4.如权利要求2所述的结构光成像系统，其中，所述第一多次包括十次。
5.如权利要求1所述的结构光成像系统，其中，控制器还基于被扫描的区域中的黑色像素与白色像素之间的强度差来确定检测到的物体的反射率。
6.如权利要求1所述的结构光成像系统，其中，被选择的片段的在第一方向上的第一预定尺寸大于被选择的片段的在第二方向上的第二预定尺寸，
其中，控制器还控制投射器以被选择的顺序朝向第一预定数量的片段投射结构光图案，并且
其中，图像传感器以被选择的顺序对第一预定数量的片段进行扫描。
7.如权利要求6所述的结构光成像系统，其中，被选择的顺序是随机顺序。
8.一种结构光成像系统，所述结构光成像系统包括：
投射器，将结构光图案投射到包括一个或更多个物体的场景的被选择的片段上，场景的被选择的片段包括在第一方向上的第一预定尺寸和在与第一方向基本正交的第二方向上的第二预定尺寸，被选择的片段的在第一方向上的第一预定尺寸大于被选择的片段的在第二方向上的第二预定尺寸；
图像传感器，对场景的被选择的片段进行扫描并且产生与被选择的片段的区域对应的输出，图像传感器和投射器以极线方式同步；以及
控制器，结合到图像传感器，检测物体是否位于被扫描的区域内，并且如果已经在被扫描的区域中检测到物体，则控制投射器以使结构光图案朝向场景的被选择的片段的与被扫描的区域不同的其它区域投射第一多次。
9.如权利要求8所述的结构光成像系统，其中，控制器还控制投射器以被选择的顺序朝向第一预定数量的片段投射结构光图案，
其中，图像传感器以被选择的顺序对第一预定数量的片段进行扫描，并且
其中，被选择的顺序是随机顺序。
10.如权利要求9所述的结构光成像系统，其中，结构光图案包括：
多个子图案的行，在第一方向上延伸，
每个子图案与至少一个其它子图案相邻，
每个子图案与每个其它子图案不同，
每个子图案包括位于子行中的第一预定数量的区域和位于子列中的第二预定数量的区域，其中，第一预定数量和第二预定数量是整数，
第一预定数量的区域和第二预定数量的区域中的每个区域包括基本相同的尺寸，
每个子行在第一方向上延伸，并且
每个子列在第二方向上延伸。
11.如权利要求10所述的结构光成像系统，其中，所述多个子图案包括48个子图案，并且
其中，第一预定数量和第二预定数量彼此相等。
12.如权利要求11所述的结构光成像系统，其中，所述第一多次包括十次。
13.如权利要求10所述的结构光成像系统，其中，控制器还基于被扫描的区域中的黑色像素与白色像素之间的强度差来确定检测到的物体的反射率。
14.一种结构光成像系统扫描场景的方法，所述方法包括：
使用投射器将结构光图案投射到包括一个或更多个物体的场景的被选择的片段上，场景的被选择的片段包括在第一方向上的第一预定尺寸和在与第一方向基本正交的第二方向上的第二预定尺寸；
使用图像传感器对场景的被选择的片段进行扫描，图像传感器和投射器以极线方式同步；
产生与被选择的片段的区域对应的输出；
检测物体是否位于被扫描的区域内；以及
如果在被扫描的区域中已经检测到物体，则使用控制器控制投射器以使结构光图案朝向场景的被选择的片段的与被扫描的区域不同的其它区域投射第一多次。
15.如权利要求14所述的方法，其中，结构光图案包括：
多个子图案的行，在第一方向上延伸，
每个子图案与至少一个其它子图案相邻，
每个子图案与每个其它子图案不同，
每个子图案包括位于子行中的第一预定数量的区域和位于子列中的第二预定数量的区域，其中，第一预定数量和第二预定数量是整数，
第一预定数量的区域和第二预定数量的区域中的每个区域包括基本相同的尺寸，
每个子行在第一方向上延伸，并且
每个子列在第二方向上延伸。
16.如权利要求15所述的方法，其中，所述多个子图案包括48个子图案，
其中，第一预定数量和第二预定数量彼此相等，并且
其中，所述第一多次包括十次。
17.如权利要求14所述的方法，其中，被选择的片段的在第一方向上的第一预定尺寸大于被选择的片段的在第二方向上的第二预定尺寸，
所述方法还包括：
将投射器控制为以被选择的顺序朝向第一预定数量的片段进一步投射结构光图案，并且
以被选择的顺序对第一预定数量的片段进行扫描，
其中，被选择的顺序是随机顺序。
18.如权利要求14所述的方法，其中，图像传感器包括多个全局快门阵列，其中，全局快门阵列与极线扫描线对应，
所述方法还包括：
以全局快门模式和卷帘快门模式中的一种来操作图像传感器。
19.如权利要求14所述的方法，所述方法还包括：
使用投射器将结构光图案离开被扫描的区域投射第一多次，以检测比被扫描的区域中检测到的物体离得更远的物体。
20.如权利要求14所述的方法，所述方法还包括：
基于被扫描的区域中的黑色像素与白色像素之间的强度差，使用控制器来确定在被扫描的区域中检测到的物体的反射率。
CN201910367333.0A 2018-05-10 2019-05-05 结构光成像系统和扫描场景的方法 Pending CN110471050A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862669931P 2018-05-10 2018-05-10
US62/669,931 2018-05-10
US16/038,146 US20190349569A1 (en) 2018-05-10 2018-07-17 High-sensitivity low-power camera system for 3d structured light application
US16/038,146 2018-07-17

Publications (1)

Publication Number Publication Date
CN110471050A true CN110471050A (zh) 2019-11-19

Family

ID=68463427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910367333.0A Pending CN110471050A (zh) 2018-05-10 2019-05-05 结构光成像系统和扫描场景的方法

Country Status (5)

Country Link
US (1) US20190349569A1 (zh)
JP (1) JP2019197055A (zh)
KR (1) KR20190129693A (zh)
CN (1) CN110471050A (zh)
TW (1) TW202002626A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114667729A (zh) * 2020-01-08 2022-06-24 核心光电有限公司 多孔变焦数码摄像头及其使用方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI771112B (zh) * 2021-07-21 2022-07-11 舞蘊股份有限公司 用於合光的超穎光學元件

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5003166A (en) * 1989-11-07 1991-03-26 Massachusetts Institute Of Technology Multidimensional range mapping with pattern projection and cross correlation
US6754370B1 (en) * 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
EP1191306B1 (en) * 2000-09-26 2006-11-22 Fuji Photo Film Co., Ltd. Distance information obtaining apparatus and distance information obtaining method
US9939233B2 (en) * 2007-10-02 2018-04-10 Doubleshot, Inc. Laser beam pattern projector
JP2012150054A (ja) * 2011-01-20 2012-08-09 Ricoh Co Ltd 物体検出装置及びこれを備えた車両衝突回避システム
US8890953B1 (en) * 2011-06-27 2014-11-18 Rawles Llc Optical-based scene detection and audio extraction
US9396382B2 (en) * 2012-08-17 2016-07-19 Flashscan3D, Llc System and method for a biometric image sensor with spoofing detection
JP2014077668A (ja) * 2012-10-09 2014-05-01 Optex Co Ltd 寸法計測装置および寸法計測方法
US11509880B2 (en) * 2012-11-14 2022-11-22 Qualcomm Incorporated Dynamic adjustment of light source power in structured light active depth sensing systems
US9547222B2 (en) * 2013-02-08 2017-01-17 University Of South Australia Method and apparatus for calibration of multiple projector systems
US9524059B2 (en) * 2013-03-15 2016-12-20 Texas Instruments Incorporated Interaction detection using structured light images
WO2015059705A1 (en) * 2013-10-23 2015-04-30 Pebbles Ltd. Three dimensional depth mapping using dynamic structured light
US20150138320A1 (en) * 2013-11-21 2015-05-21 Antoine El Daher High Accuracy Automated 3D Scanner With Efficient Scanning Pattern
US20160150219A1 (en) * 2014-11-20 2016-05-26 Mantisvision Ltd. Methods Circuits Devices Assemblies Systems and Functionally Associated Computer Executable Code for Image Acquisition With Depth Estimation
US20180364045A1 (en) * 2015-01-06 2018-12-20 Discovery Robotics Robotic platform with mapping facility
KR102287958B1 (ko) * 2015-02-06 2021-08-09 한국전자통신연구원 차량 창유리 가시광선 투과율 원격 검사 시스템 및 방법
KR101904181B1 (ko) * 2015-03-22 2018-10-04 페이스북, 인크. 스테레오 카메라 및 구조화된 광을 사용한 헤드 마운트 디스플레이의 심도 맵핑
US10225544B2 (en) * 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US10973581B2 (en) * 2016-06-17 2021-04-13 7D Surgical Inc. Systems and methods for obtaining a structured light reconstruction of a 3D surface
US10306203B1 (en) * 2016-06-23 2019-05-28 Amazon Technologies, Inc. Adaptive depth sensing of scenes by targeted light projections
US9947099B2 (en) * 2016-07-27 2018-04-17 Microsoft Technology Licensing, Llc Reflectivity map estimate from dot based structured light systems
WO2018033917A1 (en) * 2016-08-18 2018-02-22 Ramot At Tel-Aviv University Ltd. Structured light projector
US10380749B2 (en) * 2016-09-26 2019-08-13 Faro Technologies, Inc. Device and method for indoor mobile mapping of an environment
GB2556910A (en) * 2016-11-25 2018-06-13 Nokia Technologies Oy Virtual reality display
EP3566078A1 (en) * 2017-01-03 2019-11-13 Innoviz Technologies Ltd. Lidar systems and methods for detection and classification of objects
US10545240B2 (en) * 2017-03-28 2020-01-28 Luminar Technologies, Inc. LIDAR transmitter and detector system using pulse encoding to reduce range ambiguity
US10007001B1 (en) * 2017-03-28 2018-06-26 Luminar Technologies, Inc. Active short-wave infrared four-dimensional camera
JP2018189443A (ja) * 2017-04-28 2018-11-29 キヤノン株式会社 距離測定装置、距離測定方法及び撮像装置
US20180373348A1 (en) * 2017-06-22 2018-12-27 Microsoft Technology Licensing, Llc Systems and methods of active brightness depth calculation for object tracking
US20190072771A1 (en) * 2017-09-05 2019-03-07 Facebook Technologies, Llc Depth measurement using multiple pulsed structured light projectors
US11297300B2 (en) * 2018-01-29 2022-04-05 Samsung Electronics Co., Ltd. Robust structured-light patterns for 3D camera system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114667729A (zh) * 2020-01-08 2022-06-24 核心光电有限公司 多孔变焦数码摄像头及其使用方法
CN114667729B (zh) * 2020-01-08 2024-04-19 核心光电有限公司 多孔变焦数码摄像头及其使用方法

Also Published As

Publication number Publication date
US20190349569A1 (en) 2019-11-14
JP2019197055A (ja) 2019-11-14
KR20190129693A (ko) 2019-11-20
TW202002626A (zh) 2020-01-01

Similar Documents

Publication Publication Date Title
US20160134860A1 (en) Multiple template improved 3d modeling of imaged objects using camera position and pose to obtain accuracy
CN106643547B (zh) 提供改进测量质量的光线上的光强度补偿
US6549288B1 (en) Structured-light, triangulation-based three-dimensional digitizer
US10041787B2 (en) Object detection device
US6600168B1 (en) High speed laser three-dimensional imager
US20160044301A1 (en) 3d modeling of imaged objects using camera position and pose to obtain accuracy with reduced processing requirements
CN1308884C (zh) 应用公共成像阵列的捕像系统和方法
KR101150755B1 (ko) 영상촬영장치
US9354045B1 (en) Image based angle sensor
US20140168424A1 (en) Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene
EP3069100B1 (en) 3d mapping device
US20110175981A1 (en) 3d color image sensor
KR20160045670A (ko) 비행-시간 카메라 시스템
CN104854427A (zh) 用于光学扫描和测量环境的装置
US7006086B2 (en) Method and apparatus for accurate alignment of images in digital imaging systems by matching points in the images corresponding to scene elements
CN110298874A (zh) 基于单个图像传感器及在可见光谱中的结构光图案撷取图像及相关三维模型的方法及装置
JPH06505096A (ja) 光センサ
GB2395261A (en) Ranging apparatus
Callenberg et al. Low-cost SPAD sensing for non-line-of-sight tracking, material classification and depth imaging
CN109891294A (zh) 光学组件、多点扫描显微镜和用于运行显微镜的方法
CN104395694A (zh) 具有多个光源的运动传感器装置
WO2015023483A1 (en) 3d mapping device for modeling of imaged objects using camera position and pose to obtain accuracy with reduced processing requirements
CN103486979A (zh) 混合系统
Wang et al. Relief texture from specularities
CN110471050A (zh) 结构光成像系统和扫描场景的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191119

WD01 Invention patent application deemed withdrawn after publication