CN112119628A - 调整相机曝光以用于三维深度感测和二维成像 - Google Patents

调整相机曝光以用于三维深度感测和二维成像 Download PDF

Info

Publication number
CN112119628A
CN112119628A CN201980033874.8A CN201980033874A CN112119628A CN 112119628 A CN112119628 A CN 112119628A CN 201980033874 A CN201980033874 A CN 201980033874A CN 112119628 A CN112119628 A CN 112119628A
Authority
CN
China
Prior art keywords
camera
image
pattern
light
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980033874.8A
Other languages
English (en)
Other versions
CN112119628B (zh
Inventor
木村昭辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magik Eye Inc
Original Assignee
Magik Eye Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magik Eye Inc filed Critical Magik Eye Inc
Priority to CN202210561274.2A priority Critical patent/CN114827573A/zh
Publication of CN112119628A publication Critical patent/CN112119628A/zh
Application granted granted Critical
Publication of CN112119628B publication Critical patent/CN112119628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Abstract

一种示例方法包括：将距离传感器的相机的曝光时间设置为第一值；指令相机来获取相机的视场中的对象的第一图像，其中第一图像是在将曝光时间设置为第一值的同时获取的；指令距离传感器的图案投影仪将光的图案投影到对象上；将相机的曝光时间设置为与第一值不同的第二值；以及指令相机来获取对象的第二图像，其中第二图像包括光的图案，并且其中第二图像是在将曝光时间设置为第二值的同时获取的。

Description

调整相机曝光以用于三维深度感测和二维成像
相关申请的交叉引用
本申请要求保护于2018年3月20日提交的美国临时专利申请序列号62/645,190的优先权，该美国临时专利申请通过引用整体地并入本文中。
背景技术
美国专利申请序列号14/920,246、15/149,323和15/149,429描述了距离传感器的各种配置。这样的距离传感器在各种各样的应用中可能是有用的，该应用包括安全性、游戏、无人驾驶车辆的控制以及其他应用。
在这些应用中描述的距离传感器包括：投影系统（例如，包括激光器、衍射光学元件和/或其他协作组件），该投影系统将以对于人眼基本上不可见的波长的光束（例如，红外线）投影到视场中。光束散开以创建可以由适当的光接收系统（例如，透镜、图像捕获设备和/或其他组件）检测到的图案（圆点、破折号或其他伪像的图案）。当图案入射到视场中的对象上时，可以基于可由传感器的光接收系统捕获的视场的一个或多个图像中的图案的外观（例如，圆点、破折号或其他伪像的位置关系）来计算从传感器到对象的距离。还可以确定对象的形状和尺寸。
例如，图案的外观可以随着到对象的距离而改变。作为示例，如果图案包括圆点的图案，则当对象更靠近传感器时，圆点可以看起来更靠近彼此，并且当对象更远离传感器时，圆点可以看起来更远离彼此。
发明内容
一种示例方法包括：将距离传感器的相机的曝光时间设置为第一值；指令相机来获取相机的视场中的对象的第一图像，其中第一图像是在将曝光时间设置为第一值的同时获取的；指令距离传感器的图案投影仪将光的图案投影到对象上；将相机的曝光时间设置为与第一值不同的第二值；以及指令相机来获取对象的第二图像，其中第二图像包括光的图案，并且其中第二图像是在将曝光时间设置为第二值的同时获取的。
在另一个示例中，一种非暂时性机器可读存储介质被编码有可由处理器执行的指令。当被执行时，所述指令使处理器实行操作，操作包括：将距离传感器的相机的曝光时间设置为第一值；指令相机获取相机的视场中的对象的第一图像，其中第一图像是在将曝光时间设置为第一值的同时获取的；指令距离传感器的图案投影仪将光的图案投影到对象上；将相机的曝光时间设置为与第一值不同的第二值；以及指令相机来获取对象的第二图像，其中第二图像包括光的图案，并且其中第二图像是在将曝光时间设置为第二值的同时获取的。
在另一个示例中，距离传感器包括：图案投影仪，其被配置成将光的图案投影到对象上；相机；控制器，其被配置成当图案投影仪没有将光的图案投影到对象上时将相机的曝光时间设置为第一值，以及当图案投影仪将光的图案投影到对象上时将相机的曝光时间设置为第二值；以及处理器，其被配置成基于在将曝光时间设置为第一值时捕获的第一图像和在将曝光时间设置为第二值时捕获的第二图像来计算从距离传感器到对象的距离。
附图说明
图1是图示了本公开的示例距离传感器的框图；
图2是图示了根据本公开的用于调整距离传感器的相机曝光以用于三维深度感测和二维图像捕获的方法的一个示例的流程图；
图3是示例性时序图，其图示了距离传感器相机的帧速率和曝光与用于三维距离测量的距离投影之间的关系，其中单个光源在用于三维距离信息和二维图像获取的单独曝光期间发射光，并且其中三维距离测量和二维图像获取每隔一帧而交替；
图4是图示了本公开的示例距离传感器的框图；
图5是图示了根据本公开的用于调整距离传感器的相机曝光以用于三维深度感测和二维图像捕获的方法的一个示例的流程图；
图6是示例性时序图，其图示了距离传感器相机的帧速率和曝光、用于三维距离测量的距离投影、以及用于二维图像获取的光发射之间的关系，其中第一光源在三维数据获取的时间处或在该时间附近发射光，并且第二、单独的光源在二维图像获取的时间处发射光，并且三维距离测量和二维图像获取每隔一帧而交替；
图7是示例性时序图，其图示了距离传感器相机的帧速率和曝光、用于三维距离测量的距离投影、以及用于二维图像获取的光发射之间的关系，其中第一光源在三维数据获取的时间处或在该时间附近发射光，并且第二、单独的光源在二维图像获取的时间处发射光，并且三维距离测量和二维图像获取每隔预定数量的帧而交替；
图8是图示了本公开的示例距离传感器的框图；
图9是示例性时序图，其图示了距离传感器相机（例如，摄像机）的帧速率和曝光、用于三维距离测量的距离投影、以及用于二维图像获取的光发射之间的关系，其中使用了两个光投影系统（例如，被用于三维距离数据获取），并且用于三维数据获取和二维图像捕获的曝光持续时间是相同的；
图10是图示了根据本公开的用于调整距离传感器的相机曝光以用于三维深度感测和二维图像捕获的方法的一个示例的流程图；
图11是示例性时序图，其图示了距离传感器相机（例如，摄像机）的帧速率和曝光、用于三维距离测量的距离投影、以及用于二维图像获取的光发射之间的关系，其中关于在二维图像获取的时间处的快门速度的信息被往回馈送到针对三维距离数据获取的定时（timing）；以及
图12描绘了用于计算从传感器到对象的距离的示例电子设备的高级框图。
具体实施方式
本公开宽泛地描述了用于调整距离传感器的相机曝光以用于三维深度感测和二维图像捕获的装置、方法和非暂时性计算机可读介质。如上面讨论的，诸如美国专利申请序列号14/920,246、15/149,323以及15/149,429中描述的那些之类的距离传感器通过投影光束来确定到对象的距离（以及潜在地，确定对象的形状和尺寸），该光束散开以在包括该对象的视场中创建图案（例如，圆点、破折号或其他伪像的图案）。光束可以从一个或多个激光光源被投影，这些激光光源发射具有对于人眼基本上不可见但对于适当检测器（例如，光接收系统的适当检测器）可见的波长的光。然后，可以基于图案对检测器的外观来计算到对象的三维距离。
在一些情况下，还可以捕获（例如，由光接收系统的相机）该对象的二维图像，并且使用该二维图像来改善三维距离测量。例如，可以将参考标记附着到对象上。然后，当可用的三维信息量（例如，图案的圆点数）不足以进行准确的距离测量时，可以使用来自该对象的二维图像（包括参考标记）的信息来补充三维信息。从二维图像中确定诸如外部亮度、对象反射比等等的环境特性也可以是可能的。该信息可以被用来调整所投影的射束（并且因此，调整所投影的图案）以改善三维距离测量。
然而，各种因素使得难以利用同一相机来快速连续地获取三维对象数据（例如，包括图案数据）和二维对象图像。例如，由环境光引入的噪声可能使检测器难以清楚地检测到由射束形成的图案。一种减轻环境光影响的方式是在传感器的光接收系统中并入窄带通滤波器，例如，其中该滤波器仅允许红外光通过。然而，如果环境光的量非常大（诸如，可能是室外的情况），则图案与环境光之间的亮度差异可能非常小。此外，如果光接收系统的曝光时间没有被适当地设置，则曝光值与传感器宽容度（sensor latitude）之间的关系可能引起不想要的饱和。在任一种情况下，检测器仍然可能难以将由射束形成的图案与环境光区分开，即使使用了窄带通滤波器亦如此。例如，当由射束形成的图案的图像和环境光两者都超过了传感器宽容度时，可能会发生饱和。然而，通过减少曝光时间以使得输入到光接收系统的光量在传感器宽容度的范围内，图案的图像可以变得更清晰。
替代地或此外，当环境光的量很大时，如果形成图案的射束的亮度相对于环境光的亮度增加，则该图案对于检测器而言可能更易于区分。然而，从安全性角度来看，增加射束的亮度可能会带来一些风险，因为暴露于更亮的射束可能对人眼是有伤害的。因此，可以缩短激光器的发射时间以使风险最小化，并且还可以缩短光接收系统的曝光时间以减少环境光。
尽管增加图案的亮度和减少光接收系统的曝光时间可以改善检测器获取三维信息的能力，但是这些修改也可能会损害相机捕获有用的二维图像的能力。例如，在缩短的曝光时间下捕获的二维图像很有可能是暗的。通常，可能需要更长的曝光时间来捕获更清晰的二维图像。
因此，总而言之，用于检测三维投影图案的最佳相机曝光时间和用于捕获二维图像的最佳相机曝光时间可能非常不同。这使得难以利用同一相机同时地或在相对短的时间段（例如，少于一秒）内检测三维投影图案和捕获二维图像。
本公开的示例提供了一种距离传感器，该距离传感器能够利用单个相机快速连续地实行三维信息获取（例如，从投影光的图案中）和二维图像获取。在一个示例中，被用来为二维图像获取提供照明的光源与被用来投影用于三维信息获取的图案的光源具有相同的波长。这消除了在距离传感器的光接收系统中对带通滤波器的需要。
图1是图示了本公开的示例距离传感器100的框图。距离传感器100可以用于检测到对象114的距离d。在一个示例中，距离传感器100共享在美国专利申请序列号14/920,246、15/149,323和15/149,429中描述的距离传感器的许多组件。例如，在一个示例中，距离传感器包括：相机（或其他图像捕获设备）102、处理器104、控制器106和图案投影仪108。
在一个示例中，相机102可以是静态相机或摄像机。相机102可以能够捕获三维距离数据。例如，相机102可以包括检测器，该检测器能够检测被投影到对象114上的光的图案，其中投影光具有对于人眼基本上不可见的波长（例如，红外线）。相机102可以还能够捕获对象114的二维红色、绿色、蓝色（RGB）图像。因此，在一个示例中，相机102可以是红色、绿色、蓝色红外（RGBIR）相机。在这种情况下，用于三维距离感测而发射的红外光可以仅在具有IR滤波器的情况下被输入到相机102的像素，而其他波长的光可以被RGB滤波器上的（一个或多个）像素识别为彩色图像。因此，相机的检测器可以同时检测红色、绿色、蓝色和红外线，可以仅检测红外线，或者可以仅检测红色、绿色和蓝色。因为三维距离感测取决于光的投影图案的强度，并且二维成像取决于外部亮度，所以相机102的IR和RGB部分的最佳曝光时间将是不同的。相机102可以具有鱼眼镜头，并且可以被配置成捕获具有高达180度视场的图像数据。
相机102可以将所捕获的图像数据发送到处理器104。处理器104可以被配置成处理所捕获的图像数据（例如，三维距离数据和二维图像数据），以便计算到对象114的距离。例如，可以根据在美国专利申请序列号14/920,246、15/149,323和15/149,429中描述的方法来计算距离。
控制器106可以被配置成控制距离传感器的其他组件的操作，例如，相机102、处理器104和图案投影仪108的操作。例如，控制器106可以控制相机102的曝光时间（例如，相机快门打开的持续时间），以及相机102捕获图像（包括对象114的图像）的定时。如下面进一步详细讨论的，控制器106可以为相机102设置两个单独的曝光持续时间：第一曝光持续时间，在其期间，在图案投影仪108将图案投影到对象114上的同时捕获对象114的图像（例如，用于三维距离感测）；以及第二曝光持续时间，在其期间，在图案投影仪108没有将图案投影到对象114上的时间捕获对象114的图像（例如，用于二维图像获取）。在一个示例中，控制器106可以在第一曝光持续时间与第二曝光持续时间之间交替。
控制器106还可以控制图案投影仪108将光的图案投影到对象114上的持续时间、以及图案投影仪108将光的图案投影到对象114上的定时。例如，控制器106可以控制由图案投影仪108的光源发射的脉冲的持续时间，如下面进一步详细讨论的。
图案投影仪108可以包括：被配置成将光的图案投影到对象114上的各种光学器件。例如，图案投影仪108可以包括：激光光源，诸如垂直腔表面发射激光器（VCSEL）110和衍射光学元件（DOE）112。VCSEL 110可以被配置成在控制器106的指导下（例如，其中控制器106控制激光脉冲的持续时间）发射激光束。DOE 112可以被配置成将由VCSEL 110投影的光束拆分成多个光束。该多个光束可以成扇形展开或散开，使得每个射束在相机的视场中创建不同光点（例如，圆点、破折号、x等等）。总之，由多个射束创建的不同光点形成了图案。可以基于图案在对象114上的外观来计算到对象114的距离。
图2是图示了根据本公开的用于调整距离传感器的相机曝光以用于三维深度感测和二维图像捕获的方法200的一个示例的流程图。方法200可以例如由图1中图示的处理器104实行。出于示例的缘故，方法200被描述为由处理系统实行。
方法200可以以步骤202开始。在步骤204中，处理系统可以将距离传感器的相机的曝光时间设置为第一值。该第一值可以定义曝光的持续时间（例如，相机快门打开以获取图像数据的第一时间窗口）。
在步骤206中，处理系统可以指令相机来获取距离传感器的视场中的对象的第一图像。在一个示例中，第一图像是二维图像（其不包括来自光的投影图案的数据）。因此，在一个示例中，用于获取第一图像的曝光时间等于第一值。
在步骤208中，处理系统可以指令距离传感器的图案投影仪（例如，包括激光光源和衍射光学元件的光学器件的系统）将光的图案投影到对象上。在一个示例中，光的图案可以包括以对于人眼基本上不可见的波长（例如，红外线）而发射的光。在一个示例中，发送到图案投影仪的指令可以包括：关于何时开始投影光的图案以及将光的图案投影多长时间（例如，激光脉冲的定时和持续时间）的指令。
在步骤210中，处理系统可以将相机的曝光时间设置为第二值。该第二值可以定义曝光的持续时间（例如，相机的快门打开以获取图像数据的第二时间窗口）。在一个示例中，第二值小于第一值。
在步骤212中，处理系统可以指令相机来获取对象的第二图像，其中第二图像还包括由图案投影仪投影到对象上的光的图案。因此，在一个示例中，用于获取第二图像的曝光时间等于第二值。
在步骤214中，处理系统可以指令图案投影仪停止将光的图案投影到对象上。例如，被发送到图案投影仪的指令可以指令图案投影仪关闭激光器。
在步骤216中，处理系统可以确定是否停止给对象进行成像。例如，如果已经获取了（例如，来自第一图像和第二图像的）足够的数据来计算到对象的距离，则给对象的成像可以停止。如果处理系统在步骤216中得出不应当停止成像的结论，则方法200可以返回到步骤204，并且如上所述地进行以捕获对象的附加图像。
替代地，如果处理系统在步骤216中得出应当停止成像的结论，则方法200可以进行到步骤218。在步骤218中，处理系统可以处理第一图像和第二图像以便确定到对象的距离。例如，在美国专利申请序列号14/920,246、15/149,323和15/149,429中描述的任何方法都可以用于计算距离。替代地，处理系统可以将第一图像和第二图像发送到远程处理系统以用于距离计算。
方法200可以以步骤220结束。
图3是示例性时序图，其图示了距离传感器相机的帧速率和曝光与用于三维距离测量的距离投影之间的关系，其中单个光源在用于三维距离信息和二维图像获取的单独曝光期间发射光，并且其中三维距离测量和二维图像获取每隔一帧而交替。例如，图3的时序图可以图示图1的距离传感器100的操作。
特别地，图3示出了时序图的七个帧f1-f7。在一个示例中，每隔一帧交替地实行三维距离测量和二维图像获取。也就是说，在第一帧f1期间，可以采用第一持续时间d1的第一相机曝光来获取用于三维距离测量的信息。然后，在后续的第二帧f2期间，可以采用具有第二持续时间d2（比第一相机曝光的持续时间更长，即，d2＞d1）的第二相机曝光来获取二维图像。在第三个帧f3和后续的奇数编号的帧f5、f7等期间，再次采用第一持续时间d1进行曝光，以获取用于三维距离测量的附加信息。在第四帧f4和后续的偶数编号的帧f6等期间，再次采用第二持续时间d2进行曝光，以获取附加的二维图像等等。
在一个示例中，可以每隔一帧地发射具有第三、固定持续时间p1的激光（或投影光源）脉冲。在一个示例中，第三持续时间p1大于第一持续时间d1，但是小于第二持续时间d2（即，d1<p1<d2)。在一个示例中，与具有第一持续时间d1的每个相机曝光（例如，每个奇数编号的帧）同时发射激光脉冲。换句话说，在每个奇数编号的帧的开始处，发射具有持续时间p1的激光脉冲，并且相机快门打开长达具有持续时间d1的窗口。因此，激光脉冲可以用于投影图案，距离传感器可以从该图案中获取用于三维距离测量的信息。
从图3中还可以看到，具有第三持续时间p1的每个激光脉冲与具有第一持续时间d1的一个相机曝光和具有第二持续时间d2的一个相机曝光相关联。也就是说，具有第一持续时间d1的一个相机曝光和具有第二持续时间d2的一个相机曝光（以该次序）在具有第三持续时间p1的每对激光脉冲之间发生。随后，可以单独地且不同地处理为了三维距离测量而获取的图像以及二维图像。
图4是图示了本公开的示例距离传感器400的框图。距离传感器400可以用于检测到对象414的距离d。在一个示例中，距离传感器400共享在美国专利申请序列号14/920,246、15/149,323和15/149,429中描述的距离传感器的许多组件。例如，在一个示例中，距离传感器包括：相机（或其他图像捕获设备）402、处理器404、控制器406和图案投影仪408。然而，与图1的距离传感器100不同，距离传感器400附加地包括发光二极管（LED）416或其他类型的照明部件，它们以对于人眼可见的波长（例如，白色）发射光。替代地，LED 416的发射波长可以与VCSEL 410的波长相同。
在一个示例中，相机402可以是静态相机或摄像机。相机402可以能够捕获三维距离数据。例如，相机402可以包括检测器，该检测器能够检测被投影到对象414上的光的图案，其中投影光具有对于人眼基本上不可见的波长（例如，红外线）。相机402可以还能够捕获对象414的二维红色、绿色、蓝色（RGB）图像。因此，在一个示例中，相机402可以是红色、绿色、蓝色红外（RGBIR）相机。在这种情况下，用于三维距离感测而发射的红外光可以仅在具有IR滤波器的情况下被输入到相机402的像素，而其他波长的光可以被RGB滤波器上的（一个或多个）像素识别为彩色图像。因为三维距离感测取决于光的投影图案的强度，并且二维成像取决于外部亮度，所以相机102的IR和RGB部分的最佳曝光时间将是不同的。相机402可以具有鱼眼镜头，并且可以被配置成捕获具有高达180度视场的图像数据。
相机402可以将所捕获的图像数据发送到处理器404。处理器404可以被配置成处理所捕获的图像数据（例如，三维距离数据和二维图像数据），以便计算到对象414的距离。例如，可以根据在美国专利申请序列号14/920,246、15/149,323和15/149,429中描述的方法来计算距离。
控制器406可以被配置成控制距离传感器的其他组件的操作，例如，相机402、处理器404、图案投影仪408和LED 416的操作。例如，控制器406可以控制相机402的曝光时间（例如，相机快门打开的持续时间），以及相机402捕获图像（包括对象414的图像）的定时。如下面进一步详细讨论的，控制器406可以为相机402设置两个单独的曝光持续时间：第一曝光持续时间，在其期间，在图案投影仪408将图案投影到对象414上的同时捕获对象414的图像（例如，用于三维距离感测）；以及第二曝光持续时间，在其期间，在图案投影仪408没有将图案投影到对象414上但LED 416对对象414进行照明的时间捕获对象414的图像（例如，用于二维图像获取）。在一个示例中，控制器406可以在第一曝光持续时间与第二曝光持续时间之间交替。
控制器406还可以控制图案投影仪408将光的图案投影到对象414上的持续时间、以及图案投影仪408将光的图案投影到对象414上的定时。例如，控制器406可以控制由图案投影仪408的光源发射的脉冲的持续时间，如下面进一步详细讨论的。
控制器406还可以控制LED 416对对象414进行照明的持续时间、以及LED 416对对象414进行照明的定时。例如，控制器406可以控制由LED 416发射的脉冲的持续时间，如下面进一步详细讨论的。
图案投影仪408可以包括：被配置成将光的图案投影到对象414上的各种光学器件。例如，图案投影仪408可以包括：激光光源，诸如垂直腔表面发射激光器（VCSEL）410和衍射光学元件（DOE）412。VCSEL 410可以被配置成在控制器406的指导下（例如，其中控制器406控制激光脉冲的持续时间）发射激光束。DOE 412可以被配置成将由VCSEL 410投影的光束拆分成多个光束。该多个光束可以成扇形展开或散开，使得每个光束在相机的视场中创建不同光点（例如，圆点、破折号、x等等）。总之，由多个射束创建的不同光点形成了图案。可以基于图案在对象414上的外观来计算到对象414的距离。
LED 416可以包括一个或多个发光二极管或其他光源，它们能够在控制器406的指导下（例如，其中控制器406控制LED脉冲的持续时间）以对于人眼可见的波长（例如，白色）发射光。替代地，LED 416的发射波长可以与VCSEL 410的波长相同。LED 416提供的照明可以用于获取对象414的二维图像，如下面进一步详细讨论的。
图5是图示了根据本公开的用于调整距离传感器的相机曝光以用于三维深度感测和二维图像捕获的方法500的一个示例的流程图。方法500可以例如由图4中图示的处理器404实行。出于示例的缘故，方法500被描述为由处理系统实行。
方法500可以以步骤502开始。在步骤504中，处理系统可以将距离传感器的相机的曝光时间设置为第一值。该第一值可以定义曝光的持续时间（例如，相机快门打开以获取图像数据的第一时间窗口）。
在步骤506中，处理系统可以指令距离传感器的照明源（例如，LED）对距离传感器的视场中的对象进行照明。在一个示例中，被发射以对对象进行照明的光可以包括以对于人眼可见的波长的光。替代地，照明源的发射波长可以与距离传感器的图案投影仪的波长相同。在一个示例中，发送到照明源的指令可以包括：关于何时开始发射光以及将光发射多长时间（例如，LED脉冲的定时和持续时间）的指令。
在步骤508中，处理系统可以指令相机来获取对象的第一图像。在一个示例中，第一图像是二维图像（其不包括来自光的投影图案的数据）。因此，在一个示例中，用于获取第一图像的曝光时间等于第一值。
在步骤510中，处理系统可以指令照明源停止对对象进行照明。例如，发送到照明源的指令可以指令图案投影仪关闭LED。
在步骤512中，处理系统可以指令距离传感器的图案投影仪（例如，包括激光光源和衍射光学元件的光学器件的系统）将光的图案投影到对象上。在一个示例中，光的图案可以包括：以对于人眼基本上不可见的波长（例如，红外线）而发射的光。在一个示例中，发送到图案投影仪的指令可以包括：关于何时开始投影光的图案以及将光的图案投影多长时间（例如，激光脉冲的定时和持续时间）的指令。
在步骤514中，处理系统可以将相机的曝光时间设置为第二值。第二值可以定义曝光的持续时间（例如，相机快门打开以获取图像数据的第二时间窗口）。在一个示例中，第二值小于第一值。
在步骤516中，处理系统可以指令相机来获取对象的第二图像，其中第二图像还包括由图案投影仪投影到对象上的光的图案。因此，在一个示例中，用于获取第二图像的曝光时间等于第二值。
在步骤518中，处理系统可以指令图案投影仪停止将光的图案投影到对象上。例如，发送到图案投影仪的指令可以指令图案投影仪关闭激光器。
在步骤520中，处理系统可以确定是否停止给对象进行成像。例如，如果已经获取了（例如，来自第一图像和第二图像的）足够的数据来计算到对象的距离，则给对象的成像可以停止。如果处理系统在步骤520中得出不应当停止成像的结论，则方法500可以返回到步骤504，并且如上所述地进行以捕获对象的附加图像。
替代地，如果处理系统在步骤520中得出应当停止成像的结论，则方法500可以进行到步骤522。在步骤522中，处理系统可以处理第一图像和第二图像以便确定到对象的距离。例如，在美国专利申请序列号14/920,246、15/149,323和15/149,429中描述的任何方法都可以用于计算距离。替代地，处理系统可以将第一图像和第二图像发送到远程处理系统以用于距离计算。
方法500可以以步骤524结束。
图6是示例性时序图，其图示了距离传感器相机（例如，摄像机）的帧速率和曝光、用于三维距离测量的距离投影、以及用于二维图像获取的光发射之间的关系，其中第一光源在三维数据获取的时间处或在该时间附近发射光，并且第二、单独的光源在二维图像获取的时间处发射光，并且三维距离测量和二维图像获取每隔一帧而交替。
特别地，图6示出了时序图的七个帧f1-f7。如在图3的示例中，每隔一帧交替地实行三维距离测量和二维图像获取。也就是说，在第一帧f1期间，可以采用第一持续时间d1的第一相机曝光来获取用于三维距离测量的信息。然后，在后续的第二帧f2期间，可以采用第二持续时间d2（比第一相机曝光的持续时间更长，即，d2＞d1）的第二相机曝光来获取二维图像。在第三个帧f3和后续的奇数编号的帧f5、f7等期间，再次采用第一持续时间d1进行曝光，以获取用于三维距离测量的附加信息。在第四帧f4和后续的偶数编号的帧f6等期间，再次采用第二持续时间d2进行曝光，以获取附加的二维图像等等。
如在图3的示例中，可以每隔一帧地发射具有第三、固定持续时间p1的激光（或投影光源）脉冲。在一个示例中，第三持续时间p1大于第一持续时间d1，但是小于第二持续时间d2（即，d1<p1<d2)。在一个示例中，与具有第一持续时间d1的每个相机曝光开始（例如，每次每个奇数编号的帧开始）同时地发射激光脉冲。换句话说，在每个奇数编号的帧的开始处，发射具有持续时间p1的激光脉冲，并且相机快门打开长达具有持续时间d1的窗口。因此，激光脉冲可以用于投影图案，距离传感器可以从该图案中获取用于三维距离测量的信息。
从图6中还可以看到，具有第三持续时间p1的每个激光脉冲与具有第一持续时间d1的一个相机曝光和具有第二持续时间d2的一个相机曝光相关联。也就是说，具有第一持续时间d1的一个相机曝光和具有第二持续时间d2的一个相机曝光（以该次序）在具有第三持续时间p1的每对激光脉冲之间发生。
在一个示例中，还可以与具有第三持续时间p1的激光脉冲交替地发射具有第四、固定持续时间p2的发光二极管（LED）（或照明光源）脉冲。在一个示例中，第四持续时间p2是第一持续时间d1、第二持续时间d2和第三持续时间p1中最大的（即，d1<p1<d2<p2)。在一个示例中，LED脉冲与帧重叠；也就是说，LED脉冲可以在一个帧的结尾（例如，超过一半）处开始，并且可以在后续帧的中间附近结束。例如，参考图6，在第三持续时间p1的激光脉冲已经结束之后，具有第四持续时间p2的LED脉冲可以在帧f1中开始。该同一LED脉冲可以在后续帧f2的中间结束（在此期间，可能不会发生激光脉冲）。在一个示例中，恰好在具有第二持续时间d2的每个相机曝光之前（例如，恰好在每个偶数编号的帧开始之前）发射LED脉冲。换句话说，恰好在每个偶数编号的帧的开始之前发射具有持续时间p2的LED脉冲，并且相机快门打开长达具有持续时间d2的窗口，该窗口在（偶数编号的）帧的中间结束。因此，LED脉冲可以用于提供照明，距离传感器可以利用该照明来获取对象的二维图像。
从图6中还可以看到，具有第四持续时间p2的每个LED脉冲与具有第二持续时间d2的一个相机曝光和具有第一持续时间d1的一个相机曝光相关联。也就是说，具有第二持续时间d2的一个相机曝光和具有第一持续时间d1的一个相机曝光（以该次序）在具有第四持续时间p2的每对LED脉冲之间发生。随后，可以单独地且不同地处理为了三维距离测量而获取的图像以及二维图像。
在另一个示例中，可以修改图5的步骤508和516，使得处理系统指令相机分别捕获第一多个（例如，n个）图像和第二多个（例如，n个）图像。因此，在照明源或图案投影的每个脉冲或发射期间，可以捕获多个图像。
例如，图7是示例性时序图，其图示了距离传感器相机（例如，摄像机）的帧速率和曝光、用于三维距离测量的距离投影、以及用于二维图像获取的光发射之间的关系，其中第一光源在三维数据获取的时间处或在该时间附近发射光，并且第二、单独的光源在二维图像获取的时间处发射光，并且三维距离测量和二维图像获取每隔预定数量的帧而交替。
特别地，图7示出了时序图的七个帧f1-f7。不同于其中三维距离测量和二维图像获取每隔一帧而交替的图3和图6的示例，在图7中，三维距离测量和二维图像获取每隔预定（且可配置）数量的n个帧而交替。在图7中图示的特定示例中，n＝3。也就是说，在前三个帧f1、f2和f3期间，可以采用第一持续时间d1的第一相机曝光来获取用于三维距离测量的信息。然后，在后续的三个帧f4、f5和f6期间，可以采用具有第二持续时间d2（比第一相机曝光的持续时间更长，即，d2> d1）的第二相机曝光来获取二维图像。在以f7开始的后续三个帧期间，再次采用第一持续时间d1进行曝光，以获取用于三维距离测量的附加信息等等。
如在图3的示例中，可以在其中获取了三维距离测量数据的每个帧的开始处发射具有第三、固定持续时间p1的激光（或投影光源）脉冲。在一个示例中，第三持续时间p1大于第一持续时间d1，但是小于第二持续时间d2（即，d1<p1<d2)。在一个示例中，与具有第一持续时间d1的每个相机曝光开始（例如，每次在n个后续的帧的集合中的帧开始）同时地发射激光脉冲。换句话说，在被标明用于三维数据获取的n个帧的集合中的每个帧的开始处，发射具有持续时间p1的激光脉冲，并且相机快门打开长达具有持续时间d1的窗口。因此，激光脉冲可以用于投影图案，距离传感器可以从该图案中获取用于三维距离测量的信息。
从图7中还可以看到，具有第三持续时间p1的每个激光脉冲与具有第一持续时间d1的一个相机曝光相关联。也就是说，具有第一持续时间d1的一个相机曝光在具有第三持续时间p1的每对激光脉冲之间发生。
在一个示例中，还可以在其中获取了二维图像的n个帧的每个集合的开始处发射具有第五、固定持续时间p3的发光二极管（LED）（或照明光源）脉冲。在一个示例中，第五持续时间p2是第一持续时间d1、第二持续时间d2、第三持续时间p1和第四持续时间p2中最大的（即，d1<p1<d2<p2<p3)。在一个示例中，LED脉冲与帧重叠：也就是说，LED脉冲可以在一个帧的结尾（例如，超过一半）处开始，并且可以在n个帧之后的帧的中间附近结束。例如，参考图7，在具有第三持续时间p1的激光脉冲已经结束之后，具有第五持续时间p3的LED脉冲可以在帧f3中开始。该同一LED脉冲可以在n个帧之后的帧（即，帧f6）的中间结束。在一个示例中，恰好在具有第二持续时间d2的第一相机曝光之前发射LED脉冲（例如，其中具有第二持续时间d2的n个相机曝光连续发生）。换句话说，恰好在被标明用于二维图像获取的n个后续的帧中的第一帧的开始之前，发射具有持续时间p3的LED脉冲，并且在持续时间d3期间，相机快门连续打开三次长达具有持续时间d2的窗口（该窗口在n个帧中的每个帧的中间结束）。因此，LED脉冲可以用于提供照明，距离传感器可以利用该照明来获取对象的二维图像。
从图7中还可以看到，具有第五持续时间p3的每个LED脉冲与具有第二持续时间d2的n个相机曝光相关联。也就是说，在具有第五持续时间p3的每个LED脉冲期间，发生具有第二持续时间d2的n个相机曝光。随后，可以单独地且不同地处理为了三维距离测量而获取的图像以及二维图像。
图8是图示了本公开的示例距离传感器800的框图。距离传感器800可以用于检测到对象814的距离d。在一个示例中，距离传感器800共享在美国专利申请序列号14/920,246、15/149,323和15/149,429中描述的距离传感器的许多组件。例如，在一个示例中，距离传感器包括：相机（或其他图像捕获设备）802、处理器804、控制器806和多个图案投影仪8081-8082（在下文中个别地被称为“图案投影仪808”或统称为“图案投影仪808”）。因此，不同于图1和图4的距离传感器100，距离传感器800包括多于一个图案投影仪。
在一个示例中，相机802可以是静态相机或摄像机。相机802可以能够捕获三维距离数据。例如，相机802可以包括检测器，该检测器能够检测被投影到对象814上的光的图案，其中投影光具有对于人眼基本上不可见的波长（例如，红外线）。相机802可以还能够捕获对象814的二维红色、绿色、蓝色（RGB）图像。因此，在一个示例中，相机802可以是红色、绿色、蓝色红外（RGBIR）相机。在这种情况下，用于三维距离感测而发射的红外光可以仅在具有IR滤波器的情况下被输入到相机802的像素，而其他波长的光可以被RGB滤波器上的（一个或多个）像素识别为彩色图像。因为三维距离感测取决于光的投影图案的强度，并且二维成像取决于外部亮度，所以相机102的IR和RGB部分的最佳曝光时间将是不同的。相机802可以具有鱼眼镜头，并且可以被配置成捕获具有高达180度视场的图像数据。
相机802可以将所捕获的图像数据发送到处理器804。处理器804可以被配置成处理所捕获的图像数据（例如，三维距离数据和二维图像数据），以便计算到对象814的距离。例如，可以根据在美国专利申请序列号14/920,246、15/149,323和15/149,429中描述的方法来计算距离。
控制器806可以被配置成控制距离传感器的其他组件的操作，例如，相机802、处理器804、图案投影仪808和LED 816的操作。例如，控制器806可以控制相机802的曝光时间（例如，相机快门打开的持续时间），以及相机802捕获图像（包括对象814的图像）的定时。如下面进一步详细讨论的，控制器806可以为相机802设置两个单独的曝光持续时间：第一曝光持续时间，在其期间，在图案投影仪808中的至少一个将图案投影到对象814上的同时捕获对象814的图像（例如，用于三维距离感测）；以及第二曝光持续时间，在其期间，在图案投影仪808没有将图案投影到对象814上但LED 816对对象814进行照明的时间处捕获对象814的图像（例如，用于二维图像获取）。在一个示例中，控制器806可以在第一曝光持续时间与第二曝光持续时间之间交替。
控制器806还可以控制图案投影仪808将光的图案投影到对象814上的持续时间、以及图案投影仪808将光的图案投影到对象814上的定时。例如，控制器806可以控制由图案投影仪808的光源发射的脉冲的持续时间，如下面进一步详细讨论的。在一个特定示例中，控制器806可以控制图案投影仪808以单独的时间将光的图案投影到相机视场的单独部分中。
控制器806还可以控制LED 816对对象814进行照明的持续时间、以及LED 816对对象814进行照明的定时。例如，控制器806可以控制由LED 816发射的脉冲的持续时间，如下面进一步详细讨论的。
图案投影仪808可以包括：被配置成将光的图案投影到对象814上的各种光学器件。例如，每个图案投影仪808可以包括相应的激光光源，诸如相应的垂直腔表面发射激光器（VCSEL）8101或8102（在下文中也个别地被称为“VCSEL 810”或统称为“VCSEL 810”）和相应的衍射光学元件（DOE）8121或8122（在下文中个别地被称为“DOE 812”或统称为“DOE812”）。VCSEL 810可以被配置成在控制器806的指导下（例如，其中控制器806控制激光脉冲的持续时间）发射激光束。DOE 812可以被配置成将由相应VCSEL 810投影的光束拆分成相应的多个光束。该多个光束可以成扇形展开或散开，使得每个射束在相机的视场中创建不同光点（例如，圆点、破折号、x等等）。总之，由多个光束创建的不同光点形成了相应的图案。可以基于图案在对象814上的外观来计算到对象814的距离。
LED 816可以包括一个或多个发光二极管或其他光源，它们能够在控制器806的指导下（例如，其中控制器806控制LED脉冲的持续时间）以对于人眼可见的波长（例如，白色）发射光。替代地，LED 816的发射波长可以与VCSEL 810的波长相同。LED 816提供的照明可以用于获取对象814的二维图像，如下面进一步详细讨论的。
图9是示例性时序图，其图示了距离传感器相机（例如，摄像机）的帧速率和曝光、用于三维距离测量的距离投影、以及用于二维图像获取的光发射之间的关系，其中使用了两个光投影系统（例如，被用于三维距离数据获取），并且用于三维数据获取和二维图像捕获的曝光持续时间是相同的。
特别地，图9示出了时序图的七个帧f1-f7。在一个示例中，每三个帧交替地实行两个三维距离测量和一个二维图像获取。也就是说，在第一帧f1期间，可以采用具有第一持续时间d1的第一相机曝光来获取用于三维距离测量的信息。在后续的第二帧f2期间，可以采用具有第一持续时间d1的第二相机曝光来获取用于三维距离测量的信息。然后，在后续的第三个帧f3期间，可以采用具有第一持续时间d1的第三相机曝光来获取二维图像。在第四帧f4和第五帧f5期间，再次采用第一持续时间d1进行曝光，以获取用于三维距离测量的附加信息。在第六帧f6期间，再次采用第一持续时间d1进行曝光，以获取附加的二维图像等等。
如图9中图示的，可以每三个帧地发射具有第三、固定持续时间p1的第一激光（或投影光源）脉冲。在一个示例中，第三持续时间p1大于第一持续时间d1（即，d1<p1)。在一个示例中，在每第三个帧的开始处发射第一激光脉冲。换句话说，在每第三个帧的开始处，发射具有持续时间p1的第一激光脉冲，并且相机快门打开长达具有持续时间d1的窗口。因此，第一激光脉冲可以用于投影图案，距离传感器可以从该图案中获取用于三维距离测量的信息。
类似地，还可以每三个帧地发射具有第三、固定持续时间p1的第二激光（或投影光源）脉冲。在一个示例中，在每第三个帧的开始处发射第二激光脉冲，但是在每个第一激光脉冲之后的一个帧的开始处发射第二激光脉冲。换句话说，在其中发生第一激光脉冲的帧之后的每一帧的开始处，发射具有持续时间p1的第二激光脉冲，并且相机快门打开长达具有持续时间d1的窗口。因此，第二激光脉冲可以用于投影图案，距离传感器可以从该图案中获取用于三维距离测量的信息。
从图9中还可以看到，具有第三持续时间p1的每个激光脉冲（无论是第一激光脉冲还是第二激光脉冲）都与具有第一持续时间d1的三个相机曝光相关联。也就是说，具有第一持续时间d1的三个相机曝光在具有第三持续时间p1的每对（第一或第二）激光脉冲之间发生。
在一个示例中，在具有第三持续时间p1的每个第二激光脉冲之后，还可以发射具有第四、固定持续时间p2的发光二极管（LED）（或照明光源）脉冲。在一个示例中，第四持续时间p2是第一持续时间d1和第三持续时间p1中最大的（即，d1<p1<p2)。在一个示例中，LED脉冲与帧重叠：也就是说，LED脉冲可以在一个帧的结尾（例如，超过一半）处开始，并且可以在后续帧的中间附近结束。例如，参考图9，在具有第三持续时间p1的第二激光脉冲已经结束之后，具有第四持续时间p2的LED脉冲可以在帧f2中开始。该同一LED脉冲可以在后续的帧f3的中间结束（在此期间，可能不会发生激光脉冲）。在一个示例中，恰好在每个相机曝光之前（例如，恰好在每第三个帧开始之前）发射LED脉冲，在该相机曝光期间实行二维图像获取。换句话说，恰好在每第三个帧开始之前，发射具有持续时间p2的LED脉冲，并且相机快门打开长达具有持续时间d1的窗口，该窗口在后续帧的中间结束。因此，LED脉冲可以用于提供照明，距离传感器可以利用该照明来获取对象的二维图像。
从图9中还可以看到，具有第四持续时间p2的每个LED脉冲与具有第一持续时间d1的三个相机曝光相关联。也就是说，具有第一持续时间d1的三个相机曝光在具有第四持续时间p2的每对LED脉冲之间发生。随后，可以单独地且不同地处理为了三维距离测量而获取的图像以及二维图像。
图10是图示了根据本公开的用于调整距离传感器的相机曝光以用于三维深度感测和二维图像捕获的方法1000的一个示例的流程图。方法1000可以例如由图1、图4和图8中图示的处理器104、404或804中的任一个实行。然而，在这种情况下，处理器附加地实行对相机捕获的二维图像数据的分析，并且将该分析往回馈送到控制器中以控制曝光控制和照明控制。出于示例的缘故，方法1000被描述为由处理系统实行。
方法1000可以以步骤1002开始。在步骤1004中，处理系统可以将距离传感器的相机的曝光时间设置为第一值。该第一值可以定义曝光的持续时间（例如，相机快门打开以获取图像数据的第一时间窗口）。
在步骤1006中，处理系统可以指令距离传感器的照明源（例如，LED）对距离传感器的视场中的对象进行照明。在一个示例中，被发射以对对象进行照明的光可以包括以对于人眼可见的波长（例如，白色）的光。在一个示例中，发送到照明源的指令可以包括：关于何时开始发射光以及将光发射多长时间（例如，LED脉冲的定时和持续时间）的指令。
在步骤1008中，处理系统可以指令相机来获取对象的第一图像。在一个示例中，第一图像是二维图像（其不包括来自光的投影图案的数据）。因此，在一个示例中，用于获取第一图像的曝光时间等于第一值。
在步骤1010中，处理系统可以指令照明源停止对对象进行照明。例如，发送到照明源的指令可以指令图案投影仪关闭LED。
在步骤1012中，处理系统可以基于对象的第一图像的分析来确定相机曝光时间的第二值、以及距离传感器的图案投影仪（例如，包括激光光源和衍射光学元件的光学器件的系统）的投影时间。
在步骤1014中，处理系统可以指令距离传感器的图案投影仪将光的图案投影到对象上。在一个示例中，光的图案可以包括以对于人眼基本上不可见的波长（例如，红外线）而发射的光。在一个示例中，发送到图案投影仪的指令可以包括：关于何时开始投影光的图案以及将光的图案投影多长时间（例如，激光脉冲的定时和持续时间）的指令。
在步骤1016中，处理系统可以将相机的曝光时间设置为第二值。该第二值可以定义曝光的持续时间（例如，相机的快门打开以获取图像数据的第二时间窗口）。在一个示例中，第二值小于第一值。
在步骤1018中，处理系统可以指令相机来获取对象的第二图像，其中第二图像还包括由图案投影仪投影到对象上的光的图案。因此，在一个示例中，用于获取第二图像的曝光时间等于第二值。
在步骤1020中，处理系统可以指令图案投影仪停止将光的图案投影到对象上。例如，发送到图案投影仪的指令可以指令图案投影仪关闭激光器。
在步骤1022中，处理系统可以确定是否停止给对象进行成像。例如，如果已经获取了（例如，来自第一图像和第二图像的）足够的数据以计算到对象的距离，则给对象的成像可以停止。如果处理系统在步骤1022中得出不应当停止成像的结论，则方法1000可以返回到步骤1004，并且如上述那样进行以捕获对象的附加图像。
替代地，如果处理系统在步骤1022中得出应当停止成像的结论，则方法1000可以进行到步骤1024。在步骤1024中，处理系统可以处理第一图像和第二图像以便确定到对象的距离。例如，在美国专利申请序列号14/920,246、15/149,323和15/149,429中描述的任何方法都可以用于计算距离。替代地，处理系统可以将第一图像和第二图像发送到远程处理系统以用于距离计算。
方法1000可以以步骤1026结束。
图11是示例性时序图，其图示了距离传感器相机（例如，摄像机）的帧速率和曝光、用于三维距离测量的距离投影、以及用于二维图像获取的光发射之间的关系，其中关于在二维图像获取的时间处的快门速度的信息被往回馈送到针对三维距离数据获取的定时。也就是说，在三维距离数据获取期间，相机的曝光时间和光的图案的投影时间可以基于根据对象的二维图像的对对象的分析。
应当注意的是，尽管没有明确指定，上述方法200、500和1000的一些框、功能或操作可以包括针对特定应用的存储、显示和/或输出。换句话说，取决于特定应用，方法200、500和1000中讨论的任何数据、记录、字段和/或中间结果可以被存储、显示和/或输出到另一个设备。另外，图2、图5和图10中记载了确定操作或涉及决策的框、功能或操作并不意味着确定操作的两个分支都被实践。换句话说，取决于确定操作的结果，可以不实行确定操作的分支之一。
图12描绘了用于计算从传感器到对象的距离的示例电子设备1100的高级框图。照此，电子设备2300可以被实现为电子设备或系统的处理器，诸如距离传感器（例如，如图1、图4和图8中的处理器104、404或804）。
如在图12中所描绘的，电子设备1200包括：硬件处理器元件1202（例如，中央处理器（CPU）、微处理器或多核处理器）、存储器1204（例如，随机存取存储器（RAM）和/或只读存储器（ROM））、用于计算从传感器到对象的距离的模块1205、以及各种输入/输出设备1206（例如，存储设备（包括但不限于磁带驱动器、软盘驱动器、硬盘驱动器或紧凑盘驱动器）、接收器、发射器、显示器、输出端口、输入端口和用户输入设备，诸如键盘、小键盘、鼠标、传声器、相机、激光光源、LED光源等等）。
尽管示出了一个处理器元件，但是应当注意的是，电子设备1200可以采用多个处理器元件。此外，尽管在图中示出了一个电子设备1200，但是如果针对特定说明性示例以分布式或并行的方式实现了如上面讨论的（一个或多个）方法，即，（一个或多个）上述方法的框或整个（一个或多个）方法跨多个或并行的电子设备而实现，则该图的电子设备1200意图表示那些多个电子设备中的每一个。
应当注意的是，本公开可以通过机器可读指令和/或以机器可读指令和硬件的组合形式来实现，例如，使用专用集成电路（ASIC）、可编程逻辑阵列（PLA），包括现场可编程门阵列（FPGA），或部署在硬件设备、通用计算机或任何其他硬件等同物上的状态机，例如与上面所讨论的（一个或多个）方法有关的计算机可读指令可以用于将硬件处理器配置成实行上面公开的（一个或多个）方法的框、功能和/或操作。
在一个示例中，用于本模块或过程1205以用于计算从传感器到对象的距离的指令和数据（例如，机器可读指令）可以被加载到存储器1204中，并且由硬件处理器元件1202执行以实现如上面结合方法200、500和1000所讨论的框、功能或操作。另外，当硬件处理器执行指令以实行“操作”时，这可以包括硬件处理器直接实行操作、和/或促进、指导另一个硬件设备或组件（例如，协处理器等等）或与另一个硬件设备或组件（例如，协处理器等）协作以实行这些操作。
执行与上述（一个或多个）方法有关的机器可读指令的处理器可以被认为是经编程的处理器或专用处理器。照此，本公开的用于计算从传感器到对象的距离的本模块1205可以被存储在有形或物理（宽泛地为非暂时性）计算机可读存储设备或介质（例如，易失性存储器、非易失性存储器、ROM存储器、RAM存储器、磁性或光学驱动器、设备或磁盘等等）上。更具体地，该计算机可读存储设备可以包括：提供存储信息的能力的任何物理设备，该信息诸如是将由处理器或电子设备（诸如安全传感器系统的计算机或控制器）访问的数据和/或指令。
将领会的是，上面所公开的变体以及其他特征和功能或其替代方案可以被组合到许多其他不同的系统或应用中。随后可以在其中做出各种目前无法预料或无法预期的替代方案、修改或变型，这些替代方案、修改或变型也意图由所附权利要求涵盖。

Claims (20)

1.一种方法，包括：
由距离传感器的处理系统将距离传感器的相机的曝光时间设置为第一值；
由处理系统指令相机来获取相机的视场中的对象的第一图像，其中第一图像是在将曝光时间设置为第一值的同时获取的；
由处理系统指令距离传感器的图案投影仪将光的图案投影到对象上；
由处理系统将相机的曝光时间设置为与第一值不同的第二值；以及
由处理系统指令相机来获取对象的第二图像，其中第二图像包括光的图案，并且其中第二图像是在将曝光时间设置为第二值的同时获取的。
2.根据权利要求1所述的方法，其中，第二值小于第一值。
3.根据权利要求2所述的方法，其中，第一图像是二维红色、绿色、蓝色图像。
4.根据权利要求3所述的方法，其中，第二图像是红外图像。
5.根据权利要求1所述的方法，其中，光的图案包括：其波长对于人眼不可见的光的图案。
6.根据权利要求5所述的方法，其中，波长是红外线。
7.根据权利要求5所述的方法，其中，相机包括检测器，所述检测器检测对于人眼可见的光的波长、以及对于人眼不可见的波长。
8.根据权利要求7所述的方法，其中，相机是红色、绿色、蓝色红外相机。
9.根据权利要求1所述的方法，进一步包括：
由处理系统并且在指令相机来获取第一图像之前，指令距离传感器的照明源对对象进行照明；以及
由处理系统并且在指令图案投影仪投影光的图案之前，指令照明源停止对对象进行照明。
10.根据权利要求9所述的方法，其中，照明源以对于人眼不可见的波长发射光。
11.根据权利要求10所述的方法，其中，照明源是红外发光二极管。
12.根据权利要求1所述的方法，其中，第一图像是在将曝光时间设置为第一值的同时由相机获取的第一多个图像之一，并且其中，第二图像是在将曝光时间设置为第二值的同时由相机获取的第二多个图像之一。
13.根据权利要求1所述的方法，其中，至少部分地基于对第一图像的分析来确定第二值。
14.根据权利要求1所述的方法，其中，图案投影仪是距离传感器的多个图案投影仪中的第一图案投影仪，并且其中，多个图案投影仪中的每个图案投影仪被配置成将光的相应图案投影到视场中的不同区域中。
15.根据权利要求1所述的方法，进一步包括：
由处理系统基于对第一图像和第二图像的分析来计算从距离传感器到对象的距离。
16.一种非暂时性机器可读存储介质，其中编码有可由距离传感器的处理器执行的指令，其中，所述指令在被执行时使处理器实行操作，所述操作包括：
将距离传感器的相机的曝光时间设置为第一值；
指令相机来获取相机的视场中的对象的第一图像，其中第一图像是在将曝光时间设置为第一值的同时获取的；
指令距离传感器的图案投影仪将光的图案投影到对象上；
将相机的曝光时间设置为与第一值不同的第二值；
指令相机来获取对象的第二图像，其中第二图像包括光的图案，并且其中第二图像是在将曝光时间设置为第二值的同时获取的；以及
基于对第一图像和第二图像的分析来计算从距离传感器到对象的距离。
17.一种距离传感器，包括：
图案投影仪，其被配置成将光的图案投影到对象上；
相机；
控制器，其被配置成当图案投影仪没有将光的图案投影到对象上时将相机的曝光时间设置为第一值，以及当图案投影仪将光的图案投影到对象上时将相机的曝光时间设置为与第一值不同的第二值；以及
处理器，其被配置成基于在将曝光时间设置为第一值时捕获的第一图像和在将曝光时间设置为第二值时捕获的第二图像来计算从距离传感器到对象的距离。
18.根据权利要求17所述的距离传感器，其中，图案投影仪包括：
红外激光源，其被配置成发射红外光束；以及
衍射光学元件，其被配置成将红外光束拆分成多个红外光束，其中，多个红外光束中的每个射束在相机的视场中创建一个投影伪影。
19.根据权利要求18所述的距离传感器，其中，相机是红色、绿色、蓝色红外相机。
20.根据权利要求17所述的距离传感器，进一步包括：
当相机捕获第一图像时，控制器所控制的红外发光二极管对对象进行照明。
CN201980033874.8A 2018-03-20 2019-03-14 调整相机曝光以用于三维深度感测和二维成像 Active CN112119628B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210561274.2A CN114827573A (zh) 2018-03-20 2019-03-14 调整相机曝光以用于三维深度感测和二维成像

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862645190P 2018-03-20 2018-03-20
US62/645190 2018-03-20
PCT/US2019/022313 WO2019182871A1 (en) 2018-03-20 2019-03-14 Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210561274.2A Division CN114827573A (zh) 2018-03-20 2019-03-14 调整相机曝光以用于三维深度感测和二维成像

Publications (2)

Publication Number Publication Date
CN112119628A true CN112119628A (zh) 2020-12-22
CN112119628B CN112119628B (zh) 2022-06-03

Family

ID=67985833

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210561274.2A Pending CN114827573A (zh) 2018-03-20 2019-03-14 调整相机曝光以用于三维深度感测和二维成像
CN201980033874.8A Active CN112119628B (zh) 2018-03-20 2019-03-14 调整相机曝光以用于三维深度感测和二维成像

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210561274.2A Pending CN114827573A (zh) 2018-03-20 2019-03-14 调整相机曝光以用于三维深度感测和二维成像

Country Status (7)

Country Link
US (2) US10931883B2 (zh)
EP (1) EP3769505A4 (zh)
JP (1) JP7354133B2 (zh)
KR (1) KR20200123483A (zh)
CN (2) CN114827573A (zh)
TW (1) TWI817996B (zh)
WO (1) WO2019182871A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3551965A4 (en) 2016-12-07 2020-08-05 Magik Eye Inc. DISTANCE SENSOR PROJECTING PARALLEL PATTERNS
EP3692501A4 (en) 2017-10-08 2021-07-07 Magik Eye Inc. CALIBRATION OF A SENSOR SYSTEM INCLUDING MULTIPLE MOBILE SENSORS
KR20200054326A (ko) 2017-10-08 2020-05-19 매직 아이 인코포레이티드 경도 그리드 패턴을 사용한 거리 측정
JP2021518535A (ja) 2018-03-20 2021-08-02 マジック アイ インコーポレイテッド 様々な密度の投影パターンを使用する距離測定
CN114827573A (zh) 2018-03-20 2022-07-29 魔眼公司 调整相机曝光以用于三维深度感测和二维成像
CN112513565B (zh) 2018-06-06 2023-02-10 魔眼公司 使用高密度投影图案的距离测量
WO2020033169A1 (en) 2018-08-07 2020-02-13 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
JP2022518023A (ja) 2019-01-20 2022-03-11 マジック アイ インコーポレイテッド 複数個の通過域を有するバンドパスフィルタを備える三次元センサ
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
US11019249B2 (en) 2019-05-12 2021-05-25 Magik Eye Inc. Mapping three-dimensional depth map data onto two-dimensional images
WO2021113135A1 (en) 2019-12-01 2021-06-10 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information
CN111083386B (zh) * 2019-12-24 2021-01-22 维沃移动通信有限公司 图像处理方法及电子设备
KR20220122645A (ko) 2019-12-29 2022-09-02 매직 아이 인코포레이티드 3차원 좌표를 2차원 피처 포인트와 연관
CN115151945A (zh) 2020-01-05 2022-10-04 魔眼公司 将三维相机的坐标系转成二维相机的入射点
JP2023511339A (ja) * 2020-01-18 2023-03-17 マジック アイ インコーポレイテッド 補足的正確性データを含む距離計測
CN114125193A (zh) * 2020-08-31 2022-03-01 安霸国际有限合伙企业 使用具有结构光的rgb-ir传感器得到无污染视频流的计时机构
CN112104858B (zh) * 2020-09-15 2022-05-27 佛山显扬科技有限公司 三维机器视觉系统环境光抑制成像方法
US20220284707A1 (en) * 2021-03-08 2022-09-08 Beijing Roborock Technology Co., Ltd. Target detection and control method, system, apparatus and storage medium
CN113075692A (zh) * 2021-03-08 2021-07-06 北京石头世纪科技股份有限公司 目标检测及控制方法、系统、设备及存储介质
CN116248844B (zh) * 2023-02-14 2024-04-30 深微光电科技(深圳)有限公司 图案数据的处理方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102385237A (zh) * 2010-09-08 2012-03-21 微软公司 基于结构化光和立体视觉的深度相机
US20160117561A1 (en) * 2014-10-24 2016-04-28 Magik Eye Inc. Distance sensor
CN105814815A (zh) * 2013-12-16 2016-07-27 高通股份有限公司 配置图像传感器以解码高频可见光通信信号的方法和设备
US20170142312A1 (en) * 2015-11-12 2017-05-18 Aquifi, Inc. System and method for high dynamic range depth capture using multiple cameras
CN107005645A (zh) * 2014-09-10 2017-08-01 惠普发展公司，有限责任合伙企业 具有led光的同时显示的图像投影和捕获
CN107613842A (zh) * 2015-05-29 2018-01-19 奥林巴斯株式会社 照明装置和计测装置
CN108369089A (zh) * 2015-11-25 2018-08-03 三菱电机株式会社 3维图像测量装置及方法

Family Cites Families (147)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4914460A (en) 1987-05-29 1990-04-03 Harbor Branch Oceanographic Institution Inc. Apparatus and methods of determining distance and orientation
US4954962A (en) 1988-09-06 1990-09-04 Transitions Research Corporation Visual navigation and obstacle avoidance structured light system
JPH0451112A (ja) 1990-06-19 1992-02-19 Fujitsu Ltd マルチスリット投光器
JPH08555A (ja) 1994-06-16 1996-01-09 Fuji Photo Optical Co Ltd 内視鏡の照明装置
US5699444A (en) 1995-03-31 1997-12-16 Synthonics Incorporated Methods and apparatus for using image data to determine camera location and orientation
JP3328111B2 (ja) 1995-08-23 2002-09-24 日本電気株式会社 空間距離測定方法及び空間距離測定装置
US6038415A (en) 1997-07-18 2000-03-14 Minolta Co., Ltd. Image forming apparatus and image-carrier cartridge device which is employed in the same
EP0898245B1 (en) 1997-08-05 2004-04-14 Canon Kabushiki Kaisha Image processing method and apparatus
US5980454A (en) 1997-12-01 1999-11-09 Endonetics, Inc. Endoscopic imaging system employing diffractive optical elements
US5870136A (en) 1997-12-05 1999-02-09 The University Of North Carolina At Chapel Hill Dynamic generation of imperceptible structured light for tracking and acquisition of three dimensional scene geometry and surface characteristics in interactive three dimensional computer graphics applications
AUPP299498A0 (en) 1998-04-15 1998-05-07 Commonwealth Scientific And Industrial Research Organisation Method of tracking and sensing position of objects
US7193645B1 (en) 2000-07-27 2007-03-20 Pvi Virtual Media Services, Llc Video system and method of operating a video system
US6937350B2 (en) 2001-06-29 2005-08-30 Massachusetts Institute Of Technology Apparatus and methods for optically monitoring thickness
US7940299B2 (en) 2001-08-09 2011-05-10 Technest Holdings, Inc. Method and apparatus for an omni-directional video surveillance system
GB2395261A (en) 2002-11-11 2004-05-19 Qinetiq Ltd Ranging apparatus
JP2004212385A (ja) 2002-12-19 2004-07-29 Olympus Corp 撮影装置とその撮影装置の撮影方法及び制御方法
TWI247104B (en) 2003-02-26 2006-01-11 Hon Hai Prec Ind Co Ltd A measuring method for pattern of light guide plate
DE10308383A1 (de) 2003-02-27 2004-09-16 Storz Endoskop Produktions Gmbh Verfahren und optisches System zur Vermessung der Topographie eines Meßobjekts
IL157877A0 (en) * 2003-09-11 2004-03-28 Imagine It S Happening Ltd Color edge based 3d scanner
WO2005076198A1 (en) 2004-02-09 2005-08-18 Cheol-Gwon Kang Device for measuring 3d shape using irregular pattern and method for the same
US7191056B2 (en) 2005-01-04 2007-03-13 The Boeing Company Precision landmark-aided navigation
JP2006313116A (ja) 2005-05-09 2006-11-16 Nec Viewtechnology Ltd 距離傾斜角度検出装置および該検出装置を備えたプロジェクタ
JP4644540B2 (ja) 2005-06-28 2011-03-02 富士通株式会社 撮像装置
US20070091174A1 (en) 2005-09-30 2007-04-26 Topcon Corporation Projection device for three-dimensional measurement, and three-dimensional measurement system
JP4760391B2 (ja) 2006-01-13 2011-08-31 カシオ計算機株式会社 測距装置及び測距方法
JP4799216B2 (ja) 2006-03-03 2011-10-26 富士通株式会社 距離測定機能を有する撮像装置
US7375803B1 (en) 2006-05-18 2008-05-20 Canesta, Inc. RGBZ (red, green, blue, z-depth) filter system usable with sensor systems, including sensor systems with synthetic mirror enhanced three-dimensional imaging
JP4889373B2 (ja) * 2006-05-24 2012-03-07 ローランドディー．ジー．株式会社 ３次元形状測定方法およびその装置
US8471892B2 (en) 2006-11-23 2013-06-25 Z. Jason Geng Wide field-of-view reflector and method of designing and making same
TWI320480B (en) 2007-04-23 2010-02-11 Univ Nat Formosa One diffraction 6 degree of freedom optoelectronic measurement system
WO2009124601A1 (en) 2008-04-11 2009-10-15 Ecole Polytechnique Federale De Lausanne Epfl Time-of-flight based imaging system using a display as illumination source
US8282485B1 (en) 2008-06-04 2012-10-09 Zhang Evan Y W Constant and shadowless light source
DE102008031942A1 (de) 2008-07-07 2010-01-14 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zur 3D-Digitalisierung eines Objekts
WO2010006081A1 (en) 2008-07-08 2010-01-14 Chiaro Technologies, Inc. Multiple channel locating
US8334900B2 (en) 2008-07-21 2012-12-18 The Hong Kong University Of Science And Technology Apparatus and method of optical imaging for medical diagnosis
JP2010091855A (ja) 2008-10-09 2010-04-22 Denso Corp レーザビーム照射装置
JP5251419B2 (ja) 2008-10-22 2013-07-31 日産自動車株式会社 距離計測装置および距離計測方法
CN101794065A (zh) 2009-02-02 2010-08-04 中强光电股份有限公司 投影显示系统
US20100223706A1 (en) 2009-03-03 2010-09-09 Illinois Tool Works Inc. Welding helmet audio communication systems and methods with bone conduction transducers
JP5484098B2 (ja) 2009-03-18 2014-05-07 三菱電機株式会社 投写光学系及び画像表示装置
JP4991787B2 (ja) 2009-04-24 2012-08-01 パナソニック株式会社 反射型光電センサ
GB0921461D0 (en) 2009-12-08 2010-01-20 Qinetiq Ltd Range based sensing
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US20110188054A1 (en) 2010-02-02 2011-08-04 Primesense Ltd Integrated photonics module for optical projection
JP5612916B2 (ja) 2010-06-18 2014-10-22 キヤノン株式会社 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム
JP5499985B2 (ja) 2010-08-09 2014-05-21 ソニー株式会社 表示装置組立体
WO2012023256A2 (en) 2010-08-19 2012-02-23 Canon Kabushiki Kaisha Three-dimensional measurement apparatus, method for three-dimensional measurement, and computer program
JP5163713B2 (ja) 2010-08-24 2013-03-13 カシオ計算機株式会社 距離画像センサ及び距離画像生成装置並びに距離画像データ取得方法及び距離画像生成方法
US8830637B2 (en) 2010-08-31 2014-09-09 Texas Instruments Incorporated Methods and apparatus to clamp overvoltages for alternating current systems
US8593535B2 (en) 2010-09-10 2013-11-26 Apple Inc. Relative positioning of devices based on captured images of tags
EP2433716A1 (en) 2010-09-22 2012-03-28 Hexagon Technology Center GmbH Surface spraying device with a nozzle control mechanism and a corresponding method
TWI428558B (zh) 2010-11-10 2014-03-01 Pixart Imaging Inc 測距方法、測距系統與其處理軟體
JP5815940B2 (ja) 2010-12-15 2015-11-17 キヤノン株式会社 距離計測装置、距離計測方法、およびプログラム
US9888225B2 (en) 2011-02-04 2018-02-06 Koninklijke Philips N.V. Method of recording an image and obtaining 3D information from the image, camera system
JP5746529B2 (ja) 2011-03-16 2015-07-08 キヤノン株式会社 三次元距離計測装置、三次元距離計測方法、およびプログラム
US8794181B2 (en) 2011-03-17 2014-08-05 Mirobot Ltd. System and method for three dimensional teat modeling for use with a milking system
JP2014122789A (ja) 2011-04-08 2014-07-03 Sanyo Electric Co Ltd 情報取得装置、投射装置および物体検出装置
JP5830270B2 (ja) 2011-05-24 2015-12-09 オリンパス株式会社 内視鏡装置および計測方法
CA2835306C (en) 2011-06-07 2016-11-15 Creaform Inc. Sensor positioning for 3d scanning
KR101974651B1 (ko) 2011-06-22 2019-05-02 성균관대학교산학협력단 경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템
US10054430B2 (en) 2011-08-09 2018-08-21 Apple Inc. Overlapping pattern projector
US8797512B2 (en) * 2011-09-15 2014-08-05 Advanced Scientific Concepts, Inc. Automatic range corrected flash ladar camera
KR101605224B1 (ko) 2011-10-05 2016-03-22 한국전자통신연구원 패턴 광을 이용한 깊이 정보 획득 장치 및 방법
DE102012108567B4 (de) 2011-10-05 2017-04-27 Electronics And Telecommunications Research Institute Verfahren zum Erlangen von Tiefeninformationen unter Verwendung eines Lichtmusters
US9692991B2 (en) 2011-11-04 2017-06-27 Qualcomm Incorporated Multispectral imaging system
TW201329509A (zh) 2012-01-10 2013-07-16 Walsin Lihwa Corp 立體掃瞄裝置及其立體掃瞄方法
US9986208B2 (en) 2012-01-27 2018-05-29 Qualcomm Incorporated System and method for determining location of a device using opposing cameras
KR20140116551A (ko) 2012-01-31 2014-10-02 쓰리엠 이노베이티브 프로퍼티즈 캄파니 표면의 삼차원 구조를 측정하는 방법 및 장치
US10937239B2 (en) * 2012-02-23 2021-03-02 Charles D. Huston System and method for creating an environment and for sharing an event
JP5800082B2 (ja) 2012-03-01 2015-10-28 日産自動車株式会社 距離計測装置及び距離計測方法
CN104220838B (zh) 2012-03-28 2016-12-21 富士通株式会社 拍摄装置
EP2849648B1 (en) 2012-05-18 2020-01-08 Siemens Healthcare Diagnostics Inc. Fish eye lens imaging apparatus and imaging method
US8699005B2 (en) 2012-05-27 2014-04-15 Planitar Inc Indoor surveying apparatus
DK2872030T3 (en) 2012-07-10 2017-03-06 Wavelight Gmbh METHOD AND APPARATUS FOR DETERMINING THE OPTICAL ABERRATIONS OF AN EYE
US20140016113A1 (en) 2012-07-13 2014-01-16 Microsoft Corporation Distance sensor using structured light
JP2014020978A (ja) 2012-07-20 2014-02-03 Fujitsu Ltd 照射装置、距離測定装置、照射装置のキャリブレーションプログラム及びキャリブレーション方法
EP2696590B1 (en) 2012-08-06 2014-09-24 Axis AB Image sensor positioning apparatus and method
US9741184B2 (en) 2012-10-14 2017-08-22 Neonode Inc. Door handle with optical proximity sensors
US9927571B2 (en) 2012-10-24 2018-03-27 Seereal Technologies S.A. Illumination device
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
JP6241793B2 (ja) 2012-12-20 2017-12-06 パナソニックＩｐマネジメント株式会社 ３次元測定装置および３次元測定方法
US10466359B2 (en) 2013-01-01 2019-11-05 Inuitive Ltd. Method and system for light patterning and imaging
US9691163B2 (en) 2013-01-07 2017-06-27 Wexenergy Innovations Llc System and method of measuring distances related to an object utilizing ancillary objects
US8768559B1 (en) 2013-01-22 2014-07-01 Qunomic Virtual Technology, LLC Line projection system
US9142019B2 (en) 2013-02-28 2015-09-22 Google Technology Holdings LLC System for 2D/3D spatial feature processing
US10105149B2 (en) 2013-03-15 2018-10-23 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
US9364167B2 (en) 2013-03-15 2016-06-14 Lx Medical Corporation Tissue imaging and image guidance in luminal anatomic structures and body cavities
US20140320605A1 (en) 2013-04-25 2014-10-30 Philip Martin Johnson Compound structured light projection system for 3-D surface profiling
US9536339B1 (en) 2013-06-13 2017-01-03 Amazon Technologies, Inc. Processing unordered point cloud
US10061028B2 (en) 2013-09-05 2018-08-28 Texas Instruments Incorporated Time-of-flight (TOF) assisted structured light imaging
JP6211876B2 (ja) 2013-10-01 2017-10-11 株式会社トプコン 測定方法及び測定装置
EP2869023B1 (en) * 2013-10-30 2018-06-13 Canon Kabushiki Kaisha Image processing apparatus, image processing method and corresponding computer program
CN103559735B (zh) 2013-11-05 2017-03-01 重庆安钻理科技股份有限公司 一种三维重建方法及系统
US10372982B2 (en) 2014-01-06 2019-08-06 Eyelock Llc Methods and apparatus for repetitive iris recognition
GB2522248A (en) 2014-01-20 2015-07-22 Promethean Ltd Interactive system
KR102166691B1 (ko) 2014-02-27 2020-10-16 엘지전자 주식회사 객체의 3차원 형상을 산출하는 장치 및 방법
US9526427B2 (en) 2014-03-21 2016-12-27 Hypermed Imaging, Inc. Compact light sensors with symmetrical lighting
US9307231B2 (en) 2014-04-08 2016-04-05 Lucasfilm Entertainment Company Ltd. Calibration target for video processing
JP6002275B2 (ja) 2014-04-30 2016-10-05 シナノケンシ株式会社 計測装置
JP5829306B2 (ja) 2014-05-12 2015-12-09 ファナック株式会社 レンジセンサの配置位置評価装置
US10207193B2 (en) 2014-05-21 2019-02-19 Universal City Studios Llc Optical tracking system for automation of amusement park elements
US9699393B2 (en) 2014-06-26 2017-07-04 Semiconductor Components Industries, Llc Imaging systems for infrared and visible imaging with patterned infrared cutoff filters
US9377533B2 (en) 2014-08-11 2016-06-28 Gerard Dirk Smits Three-dimensional triangulation and time-of-flight based tracking systems and methods
KR20160020323A (ko) 2014-08-13 2016-02-23 옥은호 평행 적외선 투사기와 카메라 모듈로 구성되는 거리 측정 센서
JP6264234B2 (ja) 2014-09-02 2018-01-24 株式会社Ｊｖｃケンウッド 撮像装置、撮像装置の制御方法及び制御プログラム
JP6370177B2 (ja) 2014-09-05 2018-08-08 株式会社Ｓｃｒｅｅｎホールディングス 検査装置および検査方法
US9762793B2 (en) * 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
EP3859669A1 (en) 2014-11-04 2021-08-04 SZ DJI Technology Co., Ltd. Camera calibration
US20160128553A1 (en) 2014-11-07 2016-05-12 Zheng Jason Geng Intra- Abdominal Lightfield 3D Endoscope and Method of Making the Same
US9881375B2 (en) * 2014-12-05 2018-01-30 Mantis Vision Ltd. Markers in 3D data capture
EP3229668A4 (en) 2014-12-08 2018-07-11 Luis Daniel Munoz Device, system and methods for assessing tissue structures, pathology, and healing
KR102369792B1 (ko) 2015-03-05 2022-03-03 한화테크윈 주식회사 촬영 장치 및 촬영 방법
JP6484072B2 (ja) 2015-03-10 2019-03-13 アルプスアルパイン株式会社 物体検出装置
WO2016151918A1 (ja) * 2015-03-26 2016-09-29 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
JP6247793B2 (ja) 2015-03-27 2017-12-13 富士フイルム株式会社 距離画像取得装置
US9694498B2 (en) 2015-03-30 2017-07-04 X Development Llc Imager for detecting visual light and projected patterns
US10215557B2 (en) 2015-03-30 2019-02-26 Fujifilm Corporation Distance image acquisition apparatus and distance image acquisition method
TW201706563A (zh) 2015-05-10 2017-02-16 麥吉克艾公司 距離感測器（一）
US10488192B2 (en) 2015-05-10 2019-11-26 Magik Eye Inc. Distance sensor projecting parallel patterns
DE102015209143B4 (de) 2015-05-19 2020-02-27 Esaote S.P.A. Verfahren zur Bestimmung einer Abbildungsvorschrift und bildgestützten Navigation sowie Vorrichtung zur bildgestützten Navigation
KR20170005649A (ko) 2015-07-06 2017-01-16 엘지전자 주식회사 3차원 깊이 카메라 모듈 및 이를 구비하는 이동 단말기
JP6409978B2 (ja) * 2015-08-28 2018-10-24 パナソニックＩｐマネジメント株式会社 撮像装置および撮像方法
DE102015115011A1 (de) 2015-09-08 2017-03-09 Valeo Schalter Und Sensoren Gmbh Laserscanner für Kraftfahrzeuge
US10176554B2 (en) 2015-10-05 2019-01-08 Google Llc Camera calibration using synthetic images
JP6597150B2 (ja) 2015-10-09 2019-10-30 富士通株式会社 距離測定装置、距離測定方法、距離測定プログラムおよびテーブルの作成方法
FR3042610B1 (fr) 2015-10-14 2018-09-07 Quantificare Dispositif et procede pour reconstruire en trois dimensions la tete et le corps
US10942261B2 (en) 2015-10-21 2021-03-09 Samsung Electronics Co., Ltd Apparatus for and method of range sensor based on direct time-of-flight and triangulation
KR20170094968A (ko) 2016-02-12 2017-08-22 엘지이노텍 주식회사 피사체 거리 측정 부재, 이를 갖는 카메라 모듈
US11030775B2 (en) 2016-03-17 2021-06-08 Flir Systems, Inc. Minimal user input video analytics systems and methods
CN107438148B (zh) 2016-05-27 2021-08-24 松下知识产权经营株式会社 摄像系统
JP2017215374A (ja) 2016-05-30 2017-12-07 パナソニックＩｐマネジメント株式会社 画像投影システムおよび画像投影方法
US9686539B1 (en) 2016-06-12 2017-06-20 Apple Inc. Camera pair calibration using non-standard calibration objects
US10163216B2 (en) * 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
EP3551965A4 (en) 2016-12-07 2020-08-05 Magik Eye Inc. DISTANCE SENSOR PROJECTING PARALLEL PATTERNS
US20180227566A1 (en) 2017-02-06 2018-08-09 Microsoft Technology Licensing, Llc Variable field of view and directional sensors for mobile machine vision applications
US11025887B2 (en) 2017-02-27 2021-06-01 Sony Corporation Field calibration of stereo cameras with a projector
US10769914B2 (en) 2017-06-07 2020-09-08 Amazon Technologies, Inc. Informative image data generation using audio/video recording and communication devices
WO2019041116A1 (zh) 2017-08-29 2019-03-07 深圳市汇顶科技股份有限公司 光学测距方法以及光学测距装置
KR20200054326A (ko) 2017-10-08 2020-05-19 매직 아이 인코포레이티드 경도 그리드 패턴을 사용한 거리 측정
EP3692501A4 (en) 2017-10-08 2021-07-07 Magik Eye Inc. CALIBRATION OF A SENSOR SYSTEM INCLUDING MULTIPLE MOBILE SENSORS
US10679076B2 (en) 2017-10-22 2020-06-09 Magik Eye Inc. Adjusting the projection system of a distance sensor to optimize a beam layout
JP2021518535A (ja) 2018-03-20 2021-08-02 マジック アイ インコーポレイテッド 様々な密度の投影パターンを使用する距離測定
CN114827573A (zh) 2018-03-20 2022-07-29 魔眼公司 调整相机曝光以用于三维深度感测和二维成像
CN112513565B (zh) 2018-06-06 2023-02-10 魔眼公司 使用高密度投影图案的距离测量
WO2020033169A1 (en) 2018-08-07 2020-02-13 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
US20200182974A1 (en) 2018-12-08 2020-06-11 Magik Eye Inc. Vertical cavity surface emitting laser-based projector
JP2022518023A (ja) 2019-01-20 2022-03-11 マジック アイ インコーポレイテッド 複数個の通過域を有するバンドパスフィルタを備える三次元センサ

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102385237A (zh) * 2010-09-08 2012-03-21 微软公司 基于结构化光和立体视觉的深度相机
CN105814815A (zh) * 2013-12-16 2016-07-27 高通股份有限公司 配置图像传感器以解码高频可见光通信信号的方法和设备
CN107005645A (zh) * 2014-09-10 2017-08-01 惠普发展公司，有限责任合伙企业 具有led光的同时显示的图像投影和捕获
US20160117561A1 (en) * 2014-10-24 2016-04-28 Magik Eye Inc. Distance sensor
CN107613842A (zh) * 2015-05-29 2018-01-19 奥林巴斯株式会社 照明装置和计测装置
US20170142312A1 (en) * 2015-11-12 2017-05-18 Aquifi, Inc. System and method for high dynamic range depth capture using multiple cameras
CN108369089A (zh) * 2015-11-25 2018-08-03 三菱电机株式会社 3维图像测量装置及方法

Also Published As

Publication number Publication date
JP2021518700A (ja) 2021-08-02
TWI817996B (zh) 2023-10-11
CN114827573A (zh) 2022-07-29
KR20200123483A (ko) 2020-10-29
TW201946451A (zh) 2019-12-01
US20190297241A1 (en) 2019-09-26
US20210152723A1 (en) 2021-05-20
EP3769505A4 (en) 2021-12-01
JP7354133B2 (ja) 2023-10-02
WO2019182871A1 (en) 2019-09-26
US11381753B2 (en) 2022-07-05
US10931883B2 (en) 2021-02-23
CN112119628B (zh) 2022-06-03
EP3769505A1 (en) 2021-01-27

Similar Documents

Publication Publication Date Title
CN112119628B (zh) 调整相机曝光以用于三维深度感测和二维成像
US20200236315A1 (en) Three-dimensional sensor including bandpass filter having multiple passbands
US10412352B2 (en) Projector apparatus with distance image acquisition device and projection mapping method
CN112954288B (zh) 图像投影系统和图像投影方法
US20130038882A1 (en) Object detecting device and information acquiring device
US9953428B2 (en) Digital camera unit with simultaneous structured and unstructured illumination
JP2019508717A5 (ja) 自動被写体検出および視覚システムの照明不変画像センサの方法および装置
US20100265316A1 (en) Three-dimensional mapping and imaging
US10206558B2 (en) Method and camera for the three-dimensional measurement of a dental object
US10663593B2 (en) Projector apparatus with distance image acquisition device and projection method
KR20160007361A (ko) 투영광원을 구비한 촬영방법 및 그 촬영장치
WO2017212510A1 (ja) 投影システム
US10728508B2 (en) Projection system and projection method
EP3403397B1 (en) Through-focus image combination
US11019249B2 (en) Mapping three-dimensional depth map data onto two-dimensional images
CN110235442B (zh) 投射型影像显示装置
KR102333490B1 (ko) 이종 이미지 처리 장치
JP2017191083A (ja) 輝点画像取得装置および輝点画像取得方法
WO2023220805A1 (en) System, apparatus and method for performing a 3d surface scan and/or texture acquisition using rolling shutter cameras
JP5298705B2 (ja) 撮像装置
JP2012105232A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant