CN114827573A - 调整相机曝光以用于三维深度感测和二维成像 - Google Patents
调整相机曝光以用于三维深度感测和二维成像 Download PDFInfo
- Publication number
- CN114827573A CN114827573A CN202210561274.2A CN202210561274A CN114827573A CN 114827573 A CN114827573 A CN 114827573A CN 202210561274 A CN202210561274 A CN 202210561274A CN 114827573 A CN114827573 A CN 114827573A
- Authority
- CN
- China
- Prior art keywords
- camera
- image
- frame
- pattern
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 67
- 238000005286 illumination Methods 0.000 claims abstract description 29
- 230000002045 lasting effect Effects 0.000 claims 1
- 238000005259 measurement Methods 0.000 description 43
- 238000010586 diagram Methods 0.000 description 23
- 230000005540 biological transmission Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000002596 correlated effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
- H04N13/289—Switching between monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
本申请涉及调整相机曝光以用于三维深度感测和二维成像。公开了一种方法,包括:由距离传感器的处理系统指示距离传感器的图案投影仪在第一时序帧期间将光的图案投影到对象上;由处理系统指示距离传感器的相机在第一时序帧期间获取对象的第一图像,其中第一图像是在将相机的曝光时间设置为第一值时获取的;由处理系统指示图案投影仪在第一时序帧之后的第二时序帧期间将光的图案投影到对象上;由处理系统指示相机在第二时序帧期间获取对象的第二图像,其中第二图像是在将相机的曝光时间设置为第一值时获取的;由处理系统指示距离传感器的照明源在第二时序帧之后的第三时序帧期间照明对象;和由处理系统指示相机在第三时序帧期间获取对象的第三图像,其中第三图像是在将相机的曝光时间设置为第一值时获取的。
Description
本申请是国家申请号为201980033874.8的发明专利申请的分案申请,该发明专利申请的申请日为2019年3月14日,发明名称为“调整相机曝光以用于三维深度感测和二维成像”。
相关申请的交叉引用
本申请要求保护于2018年3月20日提交的美国临时专利申请序列号62/645,190的优先权,该美国临时专利申请通过引用整体地并入本文中。
背景技术
美国专利申请序列号14/920,246、15/149,323和15/149,429描述了距离传感器的各种配置。这样的距离传感器在各种各样的应用中可能是有用的,该应用包括安全性、游戏、无人驾驶车辆的控制以及其他应用。
在这些应用中描述的距离传感器包括:投影系统(例如,包括激光器、衍射光学元件和/或其他协作组件),该投影系统将以对于人眼基本上不可见的波长的光束(例如,红外线)投影到视场中。光束散开以创建可以由适当的光接收系统(例如,透镜、图像捕获设备和/或其他组件)检测到的图案(圆点、破折号或其他伪像的图案)。当图案入射到视场中的对象上时,可以基于可由传感器的光接收系统捕获的视场的一个或多个图像中的图案的外观(例如,圆点、破折号或其他伪像的位置关系)来计算从传感器到对象的距离。还可以确定对象的形状和尺寸。
例如,图案的外观可以随着到对象的距离而改变。作为示例,如果图案包括圆点的图案,则当对象更靠近传感器时,圆点可以看起来更靠近彼此,并且当对象更远离传感器时,圆点可以看起来更远离彼此。
发明内容
一种示例方法包括:将距离传感器的相机的曝光时间设置为第一值;指令相机来获取相机的视场中的对象的第一图像,其中第一图像是在将曝光时间设置为第一值的同时获取的;指令距离传感器的图案投影仪将光的图案投影到对象上;将相机的曝光时间设置为与第一值不同的第二值;以及指令相机来获取对象的第二图像,其中第二图像包括光的图案,并且其中第二图像是在将曝光时间设置为第二值的同时获取的。
在另一个示例中,一种非暂时性机器可读存储介质被编码有可由处理器执行的指令。当被执行时,所述指令使处理器实行操作,操作包括:将距离传感器的相机的曝光时间设置为第一值;指令相机获取相机的视场中的对象的第一图像,其中第一图像是在将曝光时间设置为第一值的同时获取的;指令距离传感器的图案投影仪将光的图案投影到对象上;将相机的曝光时间设置为与第一值不同的第二值;以及指令相机来获取对象的第二图像,其中第二图像包括光的图案,并且其中第二图像是在将曝光时间设置为第二值的同时获取的。
在另一个示例中,距离传感器包括:图案投影仪,其被配置成将光的图案投影到对象上;相机;控制器,其被配置成当图案投影仪没有将光的图案投影到对象上时将相机的曝光时间设置为第一值,以及当图案投影仪将光的图案投影到对象上时将相机的曝光时间设置为第二值;以及处理器,其被配置成基于在将曝光时间设置为第一值时捕获的第一图像和在将曝光时间设置为第二值时捕获的第二图像来计算从距离传感器到对象的距离。
附图说明
图1是图示了本公开的示例距离传感器的框图;
图2是图示了根据本公开的用于调整距离传感器的相机曝光以用于三维深度感测和二维图像捕获的方法的一个示例的流程图;
图3是示例性时序图,其图示了距离传感器相机的帧速率和曝光与用于三维距离测量的距离投影之间的关系,其中单个光源在用于三维距离信息和二维图像获取的单独曝光期间发射光,并且其中三维距离测量和二维图像获取每隔一帧而交替;
图4是图示了本公开的示例距离传感器的框图;
图5是图示了根据本公开的用于调整距离传感器的相机曝光以用于三维深度感测和二维图像捕获的方法的一个示例的流程图;
图6是示例性时序图,其图示了距离传感器相机的帧速率和曝光、用于三维距离测量的距离投影、以及用于二维图像获取的光发射之间的关系,其中第一光源在三维数据获取的时间处或在该时间附近发射光,并且第二、单独的光源在二维图像获取的时间处发射光,并且三维距离测量和二维图像获取每隔一帧而交替;
图7是示例性时序图,其图示了距离传感器相机的帧速率和曝光、用于三维距离测量的距离投影、以及用于二维图像获取的光发射之间的关系,其中第一光源在三维数据获取的时间处或在该时间附近发射光,并且第二、单独的光源在二维图像获取的时间处发射光,并且三维距离测量和二维图像获取每隔预定数量的帧而交替;
图8是图示了本公开的示例距离传感器的框图;
图9是示例性时序图,其图示了距离传感器相机(例如,摄像机)的帧速率和曝光、用于三维距离测量的距离投影、以及用于二维图像获取的光发射之间的关系,其中使用了两个光投影系统(例如,被用于三维距离数据获取),并且用于三维数据获取和二维图像捕获的曝光持续时间是相同的;
图10是图示了根据本公开的用于调整距离传感器的相机曝光以用于三维深度感测和二维图像捕获的方法的一个示例的流程图;
图11是示例性时序图,其图示了距离传感器相机(例如,摄像机)的帧速率和曝光、用于三维距离测量的距离投影、以及用于二维图像获取的光发射之间的关系,其中关于在二维图像获取的时间处的快门速度的信息被往回馈送到针对三维距离数据获取的定时(timing);以及
图12描绘了用于计算从传感器到对象的距离的示例电子设备的高级框图。
具体实施方式
本公开宽泛地描述了用于调整距离传感器的相机曝光以用于三维深度感测和二维图像捕获的装置、方法和非暂时性计算机可读介质。如上面讨论的,诸如美国专利申请序列号14/920,246、15/149,323以及15/149,429中描述的那些之类的距离传感器通过投影光束来确定到对象的距离(以及潜在地,确定对象的形状和尺寸),该光束散开以在包括该对象的视场中创建图案(例如,圆点、破折号或其他伪像的图案)。光束可以从一个或多个激光光源被投影,这些激光光源发射具有对于人眼基本上不可见但对于适当检测器(例如,光接收系统的适当检测器)可见的波长的光。然后,可以基于图案对检测器的外观来计算到对象的三维距离。
在一些情况下,还可以捕获(例如,由光接收系统的相机)该对象的二维图像,并且使用该二维图像来改善三维距离测量。例如,可以将参考标记附着到对象上。然后,当可用的三维信息量(例如,图案的圆点数)不足以进行准确的距离测量时,可以使用来自该对象的二维图像(包括参考标记)的信息来补充三维信息。从二维图像中确定诸如外部亮度、对象反射比等等的环境特性也可以是可能的。该信息可以被用来调整所投影的射束(并且因此,调整所投影的图案)以改善三维距离测量。
然而,各种因素使得难以利用同一相机来快速连续地获取三维对象数据(例如,包括图案数据)和二维对象图像。例如,由环境光引入的噪声可能使检测器难以清楚地检测到由射束形成的图案。一种减轻环境光影响的方式是在传感器的光接收系统中并入窄带通滤波器,例如,其中该滤波器仅允许红外光通过。然而,如果环境光的量非常大(诸如,可能是室外的情况),则图案与环境光之间的亮度差异可能非常小。此外,如果光接收系统的曝光时间没有被适当地设置,则曝光值与传感器宽容度(sensor latitude)之间的关系可能引起不想要的饱和。在任一种情况下,检测器仍然可能难以将由射束形成的图案与环境光区分开,即使使用了窄带通滤波器亦如此。例如,当由射束形成的图案的图像和环境光两者都超过了传感器宽容度时,可能会发生饱和。然而,通过减少曝光时间以使得输入到光接收系统的光量在传感器宽容度的范围内,图案的图像可以变得更清晰。
替代地或此外,当环境光的量很大时,如果形成图案的射束的亮度相对于环境光的亮度增加,则该图案对于检测器而言可能更易于区分。然而,从安全性角度来看,增加射束的亮度可能会带来一些风险,因为暴露于更亮的射束可能对人眼是有伤害的。因此,可以缩短激光器的发射时间以使风险最小化,并且还可以缩短光接收系统的曝光时间以减少环境光。
尽管增加图案的亮度和减少光接收系统的曝光时间可以改善检测器获取三维信息的能力,但是这些修改也可能会损害相机捕获有用的二维图像的能力。例如,在缩短的曝光时间下捕获的二维图像很有可能是暗的。通常,可能需要更长的曝光时间来捕获更清晰的二维图像。
因此,总而言之,用于检测三维投影图案的最佳相机曝光时间和用于捕获二维图像的最佳相机曝光时间可能非常不同。这使得难以利用同一相机同时地或在相对短的时间段(例如,少于一秒)内检测三维投影图案和捕获二维图像。
本公开的示例提供了一种距离传感器,该距离传感器能够利用单个相机快速连续地实行三维信息获取(例如,从投影光的图案中)和二维图像获取。在一个示例中,被用来为二维图像获取提供照明的光源与被用来投影用于三维信息获取的图案的光源具有相同的波长。这消除了在距离传感器的光接收系统中对带通滤波器的需要。
图1是图示了本公开的示例距离传感器100的框图。距离传感器100可以用于检测到对象114的距离d。在一个示例中,距离传感器100共享在美国专利申请序列号14/920,246、15/149,323和15/149,429中描述的距离传感器的许多组件。例如,在一个示例中,距离传感器包括:相机(或其他图像捕获设备)102、处理器104、控制器106和图案投影仪108。
在一个示例中,相机102可以是静态相机或摄像机。相机102可以能够捕获三维距离数据。例如,相机102可以包括检测器,该检测器能够检测被投影到对象114上的光的图案,其中投影光具有对于人眼基本上不可见的波长(例如,红外线)。相机102可以还能够捕获对象114的二维红色、绿色、蓝色(RGB)图像。因此,在一个示例中,相机102可以是红色、绿色、蓝色红外(RGBIR)相机。在这种情况下,用于三维距离感测而发射的红外光可以仅在具有IR滤波器的情况下被输入到相机102的像素,而其他波长的光可以被RGB滤波器上的(一个或多个)像素识别为彩色图像。因此,相机的检测器可以同时检测红色、绿色、蓝色和红外线,可以仅检测红外线,或者可以仅检测红色、绿色和蓝色。因为三维距离感测取决于光的投影图案的强度,并且二维成像取决于外部亮度,所以相机102的IR和RGB部分的最佳曝光时间将是不同的。相机102可以具有鱼眼镜头,并且可以被配置成捕获具有高达180度视场的图像数据。
相机102可以将所捕获的图像数据发送到处理器104。处理器104可以被配置成处理所捕获的图像数据(例如,三维距离数据和二维图像数据),以便计算到对象114的距离。例如,可以根据在美国专利申请序列号14/920,246、15/149,323和15/149,429中描述的方法来计算距离。
控制器106可以被配置成控制距离传感器的其他组件的操作,例如,相机102、处理器104和图案投影仪108的操作。例如,控制器106可以控制相机102的曝光时间(例如,相机快门打开的持续时间),以及相机102捕获图像(包括对象114的图像)的定时。如下面进一步详细讨论的,控制器106可以为相机102设置两个单独的曝光持续时间:第一曝光持续时间,在其期间,在图案投影仪108将图案投影到对象114上的同时捕获对象114的图像(例如,用于三维距离感测);以及第二曝光持续时间,在其期间,在图案投影仪108没有将图案投影到对象114上的时间捕获对象114的图像(例如,用于二维图像获取)。在一个示例中,控制器106可以在第一曝光持续时间与第二曝光持续时间之间交替。
控制器106还可以控制图案投影仪108将光的图案投影到对象114上的持续时间、以及图案投影仪108将光的图案投影到对象114上的定时。例如,控制器106可以控制由图案投影仪108的光源发射的脉冲的持续时间,如下面进一步详细讨论的。
图案投影仪108可以包括:被配置成将光的图案投影到对象114上的各种光学器件。例如,图案投影仪108可以包括:激光光源,诸如垂直腔表面发射激光器(VCSEL)110和衍射光学元件(DOE)112。VCSEL 110可以被配置成在控制器106的指导下(例如,其中控制器106控制激光脉冲的持续时间)发射激光束。DOE 112可以被配置成将由VCSEL 110投影的光束拆分成多个光束。该多个光束可以成扇形展开或散开,使得每个射束在相机的视场中创建不同光点(例如,圆点、破折号、x等等)。总之,由多个射束创建的不同光点形成了图案。可以基于图案在对象114上的外观来计算到对象114的距离。
图2是图示了根据本公开的用于调整距离传感器的相机曝光以用于三维深度感测和二维图像捕获的方法200的一个示例的流程图。方法200可以例如由图1中图示的处理器104实行。出于示例的缘故,方法200被描述为由处理系统实行。
方法200可以以步骤202开始。在步骤204中,处理系统可以将距离传感器的相机的曝光时间设置为第一值。该第一值可以定义曝光的持续时间(例如,相机快门打开以获取图像数据的第一时间窗口)。
在步骤206中,处理系统可以指令相机来获取距离传感器的视场中的对象的第一图像。在一个示例中,第一图像是二维图像(其不包括来自光的投影图案的数据)。因此,在一个示例中,用于获取第一图像的曝光时间等于第一值。
在步骤208中,处理系统可以指令距离传感器的图案投影仪(例如,包括激光光源和衍射光学元件的光学器件的系统)将光的图案投影到对象上。在一个示例中,光的图案可以包括以对于人眼基本上不可见的波长(例如,红外线)而发射的光。在一个示例中,发送到图案投影仪的指令可以包括:关于何时开始投影光的图案以及将光的图案投影多长时间(例如,激光脉冲的定时和持续时间)的指令。
在步骤210中,处理系统可以将相机的曝光时间设置为第二值。该第二值可以定义曝光的持续时间(例如,相机的快门打开以获取图像数据的第二时间窗口)。在一个示例中,第二值小于第一值。
在步骤212中,处理系统可以指令相机来获取对象的第二图像,其中第二图像还包括由图案投影仪投影到对象上的光的图案。因此,在一个示例中,用于获取第二图像的曝光时间等于第二值。
在步骤214中,处理系统可以指令图案投影仪停止将光的图案投影到对象上。例如,被发送到图案投影仪的指令可以指令图案投影仪关闭激光器。
在步骤216中,处理系统可以确定是否停止给对象进行成像。例如,如果已经获取了(例如,来自第一图像和第二图像的)足够的数据来计算到对象的距离,则给对象的成像可以停止。如果处理系统在步骤216中得出不应当停止成像的结论,则方法200可以返回到步骤204,并且如上所述地进行以捕获对象的附加图像。
替代地,如果处理系统在步骤216中得出应当停止成像的结论,则方法200可以进行到步骤218。在步骤218中,处理系统可以处理第一图像和第二图像以便确定到对象的距离。例如,在美国专利申请序列号14/920,246、15/149,323和15/149,429中描述的任何方法都可以用于计算距离。替代地,处理系统可以将第一图像和第二图像发送到远程处理系统以用于距离计算。
方法200可以以步骤220结束。
图3是示例性时序图,其图示了距离传感器相机的帧速率和曝光与用于三维距离测量的距离投影之间的关系,其中单个光源在用于三维距离信息和二维图像获取的单独曝光期间发射光,并且其中三维距离测量和二维图像获取每隔一帧而交替。例如,图3的时序图可以图示图1的距离传感器100的操作。
特别地,图3示出了时序图的七个帧f1-f7。在一个示例中,每隔一帧交替地实行三维距离测量和二维图像获取。也就是说,在第一帧f1期间,可以采用第一持续时间d1的第一相机曝光来获取用于三维距离测量的信息。然后,在后续的第二帧f2期间,可以采用具有第二持续时间d2(比第一相机曝光的持续时间更长,即,d2>d1)的第二相机曝光来获取二维图像。在第三个帧f3和后续的奇数编号的帧f5、f7等期间,再次采用第一持续时间d1进行曝光,以获取用于三维距离测量的附加信息。在第四帧f4和后续的偶数编号的帧f6等期间,再次采用第二持续时间d2进行曝光,以获取附加的二维图像等等。
在一个示例中,可以每隔一帧地发射具有第三、固定持续时间p1的激光(或投影光源)脉冲。在一个示例中,第三持续时间p1大于第一持续时间d1,但是小于第二持续时间d2(即,d1<p1<d2)。在一个示例中,与具有第一持续时间d1的每个相机曝光(例如,每个奇数编号的帧)同时发射激光脉冲。换句话说,在每个奇数编号的帧的开始处,发射具有持续时间p1的激光脉冲,并且相机快门打开长达具有持续时间d1的窗口。因此,激光脉冲可以用于投影图案,距离传感器可以从该图案中获取用于三维距离测量的信息。
从图3中还可以看到,具有第三持续时间p1的每个激光脉冲与具有第一持续时间d1的一个相机曝光和具有第二持续时间d2的一个相机曝光相关联。也就是说,具有第一持续时间d1的一个相机曝光和具有第二持续时间d2的一个相机曝光(以该次序)在具有第三持续时间p1的每对激光脉冲之间发生。随后,可以单独地且不同地处理为了三维距离测量而获取的图像以及二维图像。
图4是图示了本公开的示例距离传感器400的框图。距离传感器400可以用于检测到对象414的距离d。在一个示例中,距离传感器400共享在美国专利申请序列号14/920,246、15/149,323和15/149,429中描述的距离传感器的许多组件。例如,在一个示例中,距离传感器包括:相机(或其他图像捕获设备)402、处理器404、控制器406和图案投影仪408。然而,与图1的距离传感器100不同,距离传感器400附加地包括发光二极管(LED)416或其他类型的照明部件,它们以对于人眼可见的波长(例如,白色)发射光。替代地,LED 416的发射波长可以与VCSEL 410的波长相同。
在一个示例中,相机402可以是静态相机或摄像机。相机402可以能够捕获三维距离数据。例如,相机402可以包括检测器,该检测器能够检测被投影到对象414上的光的图案,其中投影光具有对于人眼基本上不可见的波长(例如,红外线)。相机402可以还能够捕获对象414的二维红色、绿色、蓝色(RGB)图像。因此,在一个示例中,相机402可以是红色、绿色、蓝色红外(RGBIR)相机。在这种情况下,用于三维距离感测而发射的红外光可以仅在具有IR滤波器的情况下被输入到相机402的像素,而其他波长的光可以被RGB滤波器上的(一个或多个)像素识别为彩色图像。因为三维距离感测取决于光的投影图案的强度,并且二维成像取决于外部亮度,所以相机102的IR和RGB部分的最佳曝光时间将是不同的。相机402可以具有鱼眼镜头,并且可以被配置成捕获具有高达180度视场的图像数据。
相机402可以将所捕获的图像数据发送到处理器404。处理器404可以被配置成处理所捕获的图像数据(例如,三维距离数据和二维图像数据),以便计算到对象414的距离。例如,可以根据在美国专利申请序列号14/920,246、15/149,323和15/149,429中描述的方法来计算距离。
控制器406可以被配置成控制距离传感器的其他组件的操作,例如,相机402、处理器404、图案投影仪408和LED 416的操作。例如,控制器406可以控制相机402的曝光时间(例如,相机快门打开的持续时间),以及相机402捕获图像(包括对象414的图像)的定时。如下面进一步详细讨论的,控制器406可以为相机402设置两个单独的曝光持续时间:第一曝光持续时间,在其期间,在图案投影仪408将图案投影到对象414上的同时捕获对象414的图像(例如,用于三维距离感测);以及第二曝光持续时间,在其期间,在图案投影仪408没有将图案投影到对象414上但LED 416对对象414进行照明的时间捕获对象414的图像(例如,用于二维图像获取)。在一个示例中,控制器406可以在第一曝光持续时间与第二曝光持续时间之间交替。
控制器406还可以控制图案投影仪408将光的图案投影到对象414上的持续时间、以及图案投影仪408将光的图案投影到对象414上的定时。例如,控制器406可以控制由图案投影仪408的光源发射的脉冲的持续时间,如下面进一步详细讨论的。
控制器406还可以控制LED 416对对象414进行照明的持续时间、以及LED 416对对象414进行照明的定时。例如,控制器406可以控制由LED 416发射的脉冲的持续时间,如下面进一步详细讨论的。
图案投影仪408可以包括:被配置成将光的图案投影到对象414上的各种光学器件。例如,图案投影仪408可以包括:激光光源,诸如垂直腔表面发射激光器(VCSEL)410和衍射光学元件(DOE)412。VCSEL 410可以被配置成在控制器406的指导下(例如,其中控制器406控制激光脉冲的持续时间)发射激光束。DOE 412可以被配置成将由VCSEL 410投影的光束拆分成多个光束。该多个光束可以成扇形展开或散开,使得每个光束在相机的视场中创建不同光点(例如,圆点、破折号、x等等)。总之,由多个射束创建的不同光点形成了图案。可以基于图案在对象414上的外观来计算到对象414的距离。
LED 416可以包括一个或多个发光二极管或其他光源,它们能够在控制器406的指导下(例如,其中控制器406控制LED脉冲的持续时间)以对于人眼可见的波长(例如,白色)发射光。替代地,LED 416的发射波长可以与VCSEL 410的波长相同。LED 416提供的照明可以用于获取对象414的二维图像,如下面进一步详细讨论的。
图5是图示了根据本公开的用于调整距离传感器的相机曝光以用于三维深度感测和二维图像捕获的方法500的一个示例的流程图。方法500可以例如由图4中图示的处理器404实行。出于示例的缘故,方法500被描述为由处理系统实行。
方法500可以以步骤502开始。在步骤504中,处理系统可以将距离传感器的相机的曝光时间设置为第一值。该第一值可以定义曝光的持续时间(例如,相机快门打开以获取图像数据的第一时间窗口)。
在步骤506中,处理系统可以指令距离传感器的照明源(例如,LED)对距离传感器的视场中的对象进行照明。在一个示例中,被发射以对对象进行照明的光可以包括以对于人眼可见的波长的光。替代地,照明源的发射波长可以与距离传感器的图案投影仪的波长相同。在一个示例中,发送到照明源的指令可以包括:关于何时开始发射光以及将光发射多长时间(例如,LED脉冲的定时和持续时间)的指令。
在步骤508中,处理系统可以指令相机来获取对象的第一图像。在一个示例中,第一图像是二维图像(其不包括来自光的投影图案的数据)。因此,在一个示例中,用于获取第一图像的曝光时间等于第一值。
在步骤510中,处理系统可以指令照明源停止对对象进行照明。例如,发送到照明源的指令可以指令图案投影仪关闭LED。
在步骤512中,处理系统可以指令距离传感器的图案投影仪(例如,包括激光光源和衍射光学元件的光学器件的系统)将光的图案投影到对象上。在一个示例中,光的图案可以包括:以对于人眼基本上不可见的波长(例如,红外线)而发射的光。在一个示例中,发送到图案投影仪的指令可以包括:关于何时开始投影光的图案以及将光的图案投影多长时间(例如,激光脉冲的定时和持续时间)的指令。
在步骤514中,处理系统可以将相机的曝光时间设置为第二值。第二值可以定义曝光的持续时间(例如,相机快门打开以获取图像数据的第二时间窗口)。在一个示例中,第二值小于第一值。
在步骤516中,处理系统可以指令相机来获取对象的第二图像,其中第二图像还包括由图案投影仪投影到对象上的光的图案。因此,在一个示例中,用于获取第二图像的曝光时间等于第二值。
在步骤518中,处理系统可以指令图案投影仪停止将光的图案投影到对象上。例如,发送到图案投影仪的指令可以指令图案投影仪关闭激光器。
在步骤520中,处理系统可以确定是否停止给对象进行成像。例如,如果已经获取了(例如,来自第一图像和第二图像的)足够的数据来计算到对象的距离,则给对象的成像可以停止。如果处理系统在步骤520中得出不应当停止成像的结论,则方法500可以返回到步骤504,并且如上所述地进行以捕获对象的附加图像。
替代地,如果处理系统在步骤520中得出应当停止成像的结论,则方法500可以进行到步骤522。在步骤522中,处理系统可以处理第一图像和第二图像以便确定到对象的距离。例如,在美国专利申请序列号14/920,246、15/149,323和15/149,429中描述的任何方法都可以用于计算距离。替代地,处理系统可以将第一图像和第二图像发送到远程处理系统以用于距离计算。
方法500可以以步骤524结束。
图6是示例性时序图,其图示了距离传感器相机(例如,摄像机)的帧速率和曝光、用于三维距离测量的距离投影、以及用于二维图像获取的光发射之间的关系,其中第一光源在三维数据获取的时间处或在该时间附近发射光,并且第二、单独的光源在二维图像获取的时间处发射光,并且三维距离测量和二维图像获取每隔一帧而交替。
特别地,图6示出了时序图的七个帧f1-f7。如在图3的示例中,每隔一帧交替地实行三维距离测量和二维图像获取。也就是说,在第一帧f1期间,可以采用第一持续时间d1的第一相机曝光来获取用于三维距离测量的信息。然后,在后续的第二帧f2期间,可以采用第二持续时间d2(比第一相机曝光的持续时间更长,即,d2>d1)的第二相机曝光来获取二维图像。在第三个帧f3和后续的奇数编号的帧f5、f7等期间,再次采用第一持续时间d1进行曝光,以获取用于三维距离测量的附加信息。在第四帧f4和后续的偶数编号的帧f6等期间,再次采用第二持续时间d2进行曝光,以获取附加的二维图像等等。
如在图3的示例中,可以每隔一帧地发射具有第三、固定持续时间p1的激光(或投影光源)脉冲。在一个示例中,第三持续时间p1大于第一持续时间d1,但是小于第二持续时间d2(即,d1<p1<d2)。在一个示例中,与具有第一持续时间d1的每个相机曝光开始(例如,每次每个奇数编号的帧开始)同时地发射激光脉冲。换句话说,在每个奇数编号的帧的开始处,发射具有持续时间p1的激光脉冲,并且相机快门打开长达具有持续时间d1的窗口。因此,激光脉冲可以用于投影图案,距离传感器可以从该图案中获取用于三维距离测量的信息。
从图6中还可以看到,具有第三持续时间p1的每个激光脉冲与具有第一持续时间d1的一个相机曝光和具有第二持续时间d2的一个相机曝光相关联。也就是说,具有第一持续时间d1的一个相机曝光和具有第二持续时间d2的一个相机曝光(以该次序)在具有第三持续时间p1的每对激光脉冲之间发生。
在一个示例中,还可以与具有第三持续时间p1的激光脉冲交替地发射具有第四、固定持续时间p2的发光二极管(LED)(或照明光源)脉冲。在一个示例中,第四持续时间p2是第一持续时间d1、第二持续时间d2和第三持续时间p1中最大的(即,d1<p1<d2<p2)。在一个示例中,LED脉冲与帧重叠;也就是说,LED脉冲可以在一个帧的结尾(例如,超过一半)处开始,并且可以在后续帧的中间附近结束。例如,参考图6,在第三持续时间p1的激光脉冲已经结束之后,具有第四持续时间p2的LED脉冲可以在帧f1中开始。该同一LED脉冲可以在后续帧f2的中间结束(在此期间,可能不会发生激光脉冲)。在一个示例中,恰好在具有第二持续时间d2的每个相机曝光之前(例如,恰好在每个偶数编号的帧开始之前)发射LED脉冲。换句话说,恰好在每个偶数编号的帧的开始之前发射具有持续时间p2的LED脉冲,并且相机快门打开长达具有持续时间d2的窗口,该窗口在(偶数编号的)帧的中间结束。因此,LED脉冲可以用于提供照明,距离传感器可以利用该照明来获取对象的二维图像。
从图6中还可以看到,具有第四持续时间p2的每个LED脉冲与具有第二持续时间d2的一个相机曝光和具有第一持续时间d1的一个相机曝光相关联。也就是说,具有第二持续时间d2的一个相机曝光和具有第一持续时间d1的一个相机曝光(以该次序)在具有第四持续时间p2的每对LED脉冲之间发生。随后,可以单独地且不同地处理为了三维距离测量而获取的图像以及二维图像。
在另一个示例中,可以修改图5的步骤508和516,使得处理系统指令相机分别捕获第一多个(例如,n个)图像和第二多个(例如,n个)图像。因此,在照明源或图案投影的每个脉冲或发射期间,可以捕获多个图像。
例如,图7是示例性时序图,其图示了距离传感器相机(例如,摄像机)的帧速率和曝光、用于三维距离测量的距离投影、以及用于二维图像获取的光发射之间的关系,其中第一光源在三维数据获取的时间处或在该时间附近发射光,并且第二、单独的光源在二维图像获取的时间处发射光,并且三维距离测量和二维图像获取每隔预定数量的帧而交替。
特别地,图7示出了时序图的七个帧f1-f7。不同于其中三维距离测量和二维图像获取每隔一帧而交替的图3和图6的示例,在图7中,三维距离测量和二维图像获取每隔预定(且可配置)数量的n个帧而交替。在图7中图示的特定示例中,n=3。也就是说,在前三个帧f1、f2和f3期间,可以采用第一持续时间d1的第一相机曝光来获取用于三维距离测量的信息。然后,在后续的三个帧f4、f5和f6期间,可以采用具有第二持续时间d2(比第一相机曝光的持续时间更长,即,d2> d1)的第二相机曝光来获取二维图像。在以f7开始的后续三个帧期间,再次采用第一持续时间d1进行曝光,以获取用于三维距离测量的附加信息等等。
如在图3的示例中,可以在其中获取了三维距离测量数据的每个帧的开始处发射具有第三、固定持续时间p1的激光(或投影光源)脉冲。在一个示例中,第三持续时间p1大于第一持续时间d1,但是小于第二持续时间d2(即,d1<p1<d2)。在一个示例中,与具有第一持续时间d1的每个相机曝光开始(例如,每次在n个后续的帧的集合中的帧开始)同时地发射激光脉冲。换句话说,在被标明用于三维数据获取的n个帧的集合中的每个帧的开始处,发射具有持续时间p1的激光脉冲,并且相机快门打开长达具有持续时间d1的窗口。因此,激光脉冲可以用于投影图案,距离传感器可以从该图案中获取用于三维距离测量的信息。
从图7中还可以看到,具有第三持续时间p1的每个激光脉冲与具有第一持续时间d1的一个相机曝光相关联。也就是说,具有第一持续时间d1的一个相机曝光在具有第三持续时间p1的每对激光脉冲之间发生。
在一个示例中,还可以在其中获取了二维图像的n个帧的每个集合的开始处发射具有第五、固定持续时间p3的发光二极管(LED)(或照明光源)脉冲。在一个示例中,第五持续时间p2是第一持续时间d1、第二持续时间d2、第三持续时间p1和第四持续时间p2中最大的(即,d1<p1<d2<p2<p3)。在一个示例中,LED脉冲与帧重叠:也就是说,LED脉冲可以在一个帧的结尾(例如,超过一半)处开始,并且可以在n个帧之后的帧的中间附近结束。例如,参考图7,在具有第三持续时间p1的激光脉冲已经结束之后,具有第五持续时间p3的LED脉冲可以在帧f3中开始。该同一LED脉冲可以在n个帧之后的帧(即,帧f6)的中间结束。在一个示例中,恰好在具有第二持续时间d2的第一相机曝光之前发射LED脉冲(例如,其中具有第二持续时间d2的n个相机曝光连续发生)。换句话说,恰好在被标明用于二维图像获取的n个后续的帧中的第一帧的开始之前,发射具有持续时间p3的LED脉冲,并且在持续时间d3期间,相机快门连续打开三次长达具有持续时间d2的窗口(该窗口在n个帧中的每个帧的中间结束)。因此,LED脉冲可以用于提供照明,距离传感器可以利用该照明来获取对象的二维图像。
从图7中还可以看到,具有第五持续时间p3的每个LED脉冲与具有第二持续时间d2的n个相机曝光相关联。也就是说,在具有第五持续时间p3的每个LED脉冲期间,发生具有第二持续时间d2的n个相机曝光。随后,可以单独地且不同地处理为了三维距离测量而获取的图像以及二维图像。
图8是图示了本公开的示例距离传感器800的框图。距离传感器800可以用于检测到对象814的距离d。在一个示例中,距离传感器800共享在美国专利申请序列号14/920,246、15/149,323和15/149,429中描述的距离传感器的许多组件。例如,在一个示例中,距离传感器包括:相机(或其他图像捕获设备)802、处理器804、控制器806和多个图案投影仪8081-8082(在下文中个别地被称为“图案投影仪808”或统称为“图案投影仪808”)。因此,不同于图1和图4的距离传感器100,距离传感器800包括多于一个图案投影仪。
在一个示例中,相机802可以是静态相机或摄像机。相机802可以能够捕获三维距离数据。例如,相机802可以包括检测器,该检测器能够检测被投影到对象814上的光的图案,其中投影光具有对于人眼基本上不可见的波长(例如,红外线)。相机802可以还能够捕获对象814的二维红色、绿色、蓝色(RGB)图像。因此,在一个示例中,相机802可以是红色、绿色、蓝色红外(RGBIR)相机。在这种情况下,用于三维距离感测而发射的红外光可以仅在具有IR滤波器的情况下被输入到相机802的像素,而其他波长的光可以被RGB滤波器上的(一个或多个)像素识别为彩色图像。因为三维距离感测取决于光的投影图案的强度,并且二维成像取决于外部亮度,所以相机102的IR和RGB部分的最佳曝光时间将是不同的。相机802可以具有鱼眼镜头,并且可以被配置成捕获具有高达180度视场的图像数据。
相机802可以将所捕获的图像数据发送到处理器804。处理器804可以被配置成处理所捕获的图像数据(例如,三维距离数据和二维图像数据),以便计算到对象814的距离。例如,可以根据在美国专利申请序列号14/920,246、15/149,323和15/149,429中描述的方法来计算距离。
控制器806可以被配置成控制距离传感器的其他组件的操作,例如,相机802、处理器804、图案投影仪808和LED 816的操作。例如,控制器806可以控制相机802的曝光时间(例如,相机快门打开的持续时间),以及相机802捕获图像(包括对象814的图像)的定时。如下面进一步详细讨论的,控制器806可以为相机802设置两个单独的曝光持续时间:第一曝光持续时间,在其期间,在图案投影仪808中的至少一个将图案投影到对象814上的同时捕获对象814的图像(例如,用于三维距离感测);以及第二曝光持续时间,在其期间,在图案投影仪808没有将图案投影到对象814上但LED 816对对象814进行照明的时间处捕获对象814的图像(例如,用于二维图像获取)。在一个示例中,控制器806可以在第一曝光持续时间与第二曝光持续时间之间交替。
控制器806还可以控制图案投影仪808将光的图案投影到对象814上的持续时间、以及图案投影仪808将光的图案投影到对象814上的定时。例如,控制器806可以控制由图案投影仪808的光源发射的脉冲的持续时间,如下面进一步详细讨论的。在一个特定示例中,控制器806可以控制图案投影仪808以单独的时间将光的图案投影到相机视场的单独部分中。
控制器806还可以控制LED 816对对象814进行照明的持续时间、以及LED 816对对象814进行照明的定时。例如,控制器806可以控制由LED 816发射的脉冲的持续时间,如下面进一步详细讨论的。
图案投影仪808可以包括:被配置成将光的图案投影到对象814上的各种光学器件。例如,每个图案投影仪808可以包括相应的激光光源,诸如相应的垂直腔表面发射激光器(VCSEL)8101或8102(在下文中也个别地被称为“VCSEL 810”或统称为“VCSEL 810”)和相应的衍射光学元件(DOE)8121或8122(在下文中个别地被称为“DOE 812”或统称为“DOE812”)。VCSEL 810可以被配置成在控制器806的指导下(例如,其中控制器806控制激光脉冲的持续时间)发射激光束。DOE 812可以被配置成将由相应VCSEL 810投影的光束拆分成相应的多个光束。该多个光束可以成扇形展开或散开,使得每个射束在相机的视场中创建不同光点(例如,圆点、破折号、x等等)。总之,由多个光束创建的不同光点形成了相应的图案。可以基于图案在对象814上的外观来计算到对象814的距离。
LED 816可以包括一个或多个发光二极管或其他光源,它们能够在控制器806的指导下(例如,其中控制器806控制LED脉冲的持续时间)以对于人眼可见的波长(例如,白色)发射光。替代地,LED 816的发射波长可以与VCSEL 810的波长相同。LED 816提供的照明可以用于获取对象814的二维图像,如下面进一步详细讨论的。
图9是示例性时序图,其图示了距离传感器相机(例如,摄像机)的帧速率和曝光、用于三维距离测量的距离投影、以及用于二维图像获取的光发射之间的关系,其中使用了两个光投影系统(例如,被用于三维距离数据获取),并且用于三维数据获取和二维图像捕获的曝光持续时间是相同的。
特别地,图9示出了时序图的七个帧f1-f7。在一个示例中,每三个帧交替地实行两个三维距离测量和一个二维图像获取。也就是说,在第一帧f1期间,可以采用具有第一持续时间d1的第一相机曝光来获取用于三维距离测量的信息。在后续的第二帧f2期间,可以采用具有第一持续时间d1的第二相机曝光来获取用于三维距离测量的信息。然后,在后续的第三个帧f3期间,可以采用具有第一持续时间d1的第三相机曝光来获取二维图像。在第四帧f4和第五帧f5期间,再次采用第一持续时间d1进行曝光,以获取用于三维距离测量的附加信息。在第六帧f6期间,再次采用第一持续时间d1进行曝光,以获取附加的二维图像等等。
如图9中图示的,可以每三个帧地发射具有第三、固定持续时间p1的第一激光(或投影光源)脉冲。在一个示例中,第三持续时间p1大于第一持续时间d1(即,d1<p1)。在一个示例中,在每第三个帧的开始处发射第一激光脉冲。换句话说,在每第三个帧的开始处,发射具有持续时间p1的第一激光脉冲,并且相机快门打开长达具有持续时间d1的窗口。因此,第一激光脉冲可以用于投影图案,距离传感器可以从该图案中获取用于三维距离测量的信息。
类似地,还可以每三个帧地发射具有第三、固定持续时间p1的第二激光(或投影光源)脉冲。在一个示例中,在每第三个帧的开始处发射第二激光脉冲,但是在每个第一激光脉冲之后的一个帧的开始处发射第二激光脉冲。换句话说,在其中发生第一激光脉冲的帧之后的每一帧的开始处,发射具有持续时间p1的第二激光脉冲,并且相机快门打开长达具有持续时间d1的窗口。因此,第二激光脉冲可以用于投影图案,距离传感器可以从该图案中获取用于三维距离测量的信息。
从图9中还可以看到,具有第三持续时间p1的每个激光脉冲(无论是第一激光脉冲还是第二激光脉冲)都与具有第一持续时间d1的三个相机曝光相关联。也就是说,具有第一持续时间d1的三个相机曝光在具有第三持续时间p1的每对(第一或第二)激光脉冲之间发生。
在一个示例中,在具有第三持续时间p1的每个第二激光脉冲之后,还可以发射具有第四、固定持续时间p2的发光二极管(LED)(或照明光源)脉冲。在一个示例中,第四持续时间p2是第一持续时间d1和第三持续时间p1中最大的(即,d1<p1<p2)。在一个示例中,LED脉冲与帧重叠:也就是说,LED脉冲可以在一个帧的结尾(例如,超过一半)处开始,并且可以在后续帧的中间附近结束。例如,参考图9,在具有第三持续时间p1的第二激光脉冲已经结束之后,具有第四持续时间p2的LED脉冲可以在帧f2中开始。该同一LED脉冲可以在后续的帧f3的中间结束(在此期间,可能不会发生激光脉冲)。在一个示例中,恰好在每个相机曝光之前(例如,恰好在每第三个帧开始之前)发射LED脉冲,在该相机曝光期间实行二维图像获取。换句话说,恰好在每第三个帧开始之前,发射具有持续时间p2的LED脉冲,并且相机快门打开长达具有持续时间d1的窗口,该窗口在后续帧的中间结束。因此,LED脉冲可以用于提供照明,距离传感器可以利用该照明来获取对象的二维图像。
从图9中还可以看到,具有第四持续时间p2的每个LED脉冲与具有第一持续时间d1的三个相机曝光相关联。也就是说,具有第一持续时间d1的三个相机曝光在具有第四持续时间p2的每对LED脉冲之间发生。随后,可以单独地且不同地处理为了三维距离测量而获取的图像以及二维图像。
图10是图示了根据本公开的用于调整距离传感器的相机曝光以用于三维深度感测和二维图像捕获的方法1000的一个示例的流程图。方法1000可以例如由图1、图4和图8中图示的处理器104、404或804中的任一个实行。然而,在这种情况下,处理器附加地实行对相机捕获的二维图像数据的分析,并且将该分析往回馈送到控制器中以控制曝光控制和照明控制。出于示例的缘故,方法1000被描述为由处理系统实行。
方法1000可以以步骤1002开始。在步骤1004中,处理系统可以将距离传感器的相机的曝光时间设置为第一值。该第一值可以定义曝光的持续时间(例如,相机快门打开以获取图像数据的第一时间窗口)。
在步骤1006中,处理系统可以指令距离传感器的照明源(例如,LED)对距离传感器的视场中的对象进行照明。在一个示例中,被发射以对对象进行照明的光可以包括以对于人眼可见的波长(例如,白色)的光。在一个示例中,发送到照明源的指令可以包括:关于何时开始发射光以及将光发射多长时间(例如,LED脉冲的定时和持续时间)的指令。
在步骤1008中,处理系统可以指令相机来获取对象的第一图像。在一个示例中,第一图像是二维图像(其不包括来自光的投影图案的数据)。因此,在一个示例中,用于获取第一图像的曝光时间等于第一值。
在步骤1010中,处理系统可以指令照明源停止对对象进行照明。例如,发送到照明源的指令可以指令图案投影仪关闭LED。
在步骤1012中,处理系统可以基于对象的第一图像的分析来确定相机曝光时间的第二值、以及距离传感器的图案投影仪(例如,包括激光光源和衍射光学元件的光学器件的系统)的投影时间。
在步骤1014中,处理系统可以指令距离传感器的图案投影仪将光的图案投影到对象上。在一个示例中,光的图案可以包括以对于人眼基本上不可见的波长(例如,红外线)而发射的光。在一个示例中,发送到图案投影仪的指令可以包括:关于何时开始投影光的图案以及将光的图案投影多长时间(例如,激光脉冲的定时和持续时间)的指令。
在步骤1016中,处理系统可以将相机的曝光时间设置为第二值。该第二值可以定义曝光的持续时间(例如,相机的快门打开以获取图像数据的第二时间窗口)。在一个示例中,第二值小于第一值。
在步骤1018中,处理系统可以指令相机来获取对象的第二图像,其中第二图像还包括由图案投影仪投影到对象上的光的图案。因此,在一个示例中,用于获取第二图像的曝光时间等于第二值。
在步骤1020中,处理系统可以指令图案投影仪停止将光的图案投影到对象上。例如,发送到图案投影仪的指令可以指令图案投影仪关闭激光器。
在步骤1022中,处理系统可以确定是否停止给对象进行成像。例如,如果已经获取了(例如,来自第一图像和第二图像的)足够的数据以计算到对象的距离,则给对象的成像可以停止。如果处理系统在步骤1022中得出不应当停止成像的结论,则方法1000可以返回到步骤1004,并且如上述那样进行以捕获对象的附加图像。
替代地,如果处理系统在步骤1022中得出应当停止成像的结论,则方法1000可以进行到步骤1024。在步骤1024中,处理系统可以处理第一图像和第二图像以便确定到对象的距离。例如,在美国专利申请序列号14/920,246、15/149,323和15/149,429中描述的任何方法都可以用于计算距离。替代地,处理系统可以将第一图像和第二图像发送到远程处理系统以用于距离计算。
方法1000可以以步骤1026结束。
图11是示例性时序图,其图示了距离传感器相机(例如,摄像机)的帧速率和曝光、用于三维距离测量的距离投影、以及用于二维图像获取的光发射之间的关系,其中关于在二维图像获取的时间处的快门速度的信息被往回馈送到针对三维距离数据获取的定时。也就是说,在三维距离数据获取期间,相机的曝光时间和光的图案的投影时间可以基于根据对象的二维图像的对对象的分析。
应当注意的是,尽管没有明确指定,上述方法200、500和1000的一些框、功能或操作可以包括针对特定应用的存储、显示和/或输出。换句话说,取决于特定应用,方法200、500和1000中讨论的任何数据、记录、字段和/或中间结果可以被存储、显示和/或输出到另一个设备。另外,图2、图5和图10中记载了确定操作或涉及决策的框、功能或操作并不意味着确定操作的两个分支都被实践。换句话说,取决于确定操作的结果,可以不实行确定操作的分支之一。
图12描绘了用于计算从传感器到对象的距离的示例电子设备1100的高级框图。照此,电子设备2300可以被实现为电子设备或系统的处理器,诸如距离传感器(例如,如图1、图4和图8中的处理器104、404或804)。
如在图12中所描绘的,电子设备1200包括:硬件处理器元件1202(例如,中央处理器(CPU)、微处理器或多核处理器)、存储器1204(例如,随机存取存储器(RAM)和/或只读存储器(ROM))、用于计算从传感器到对象的距离的模块1205、以及各种输入/输出设备1206(例如,存储设备(包括但不限于磁带驱动器、软盘驱动器、硬盘驱动器或紧凑盘驱动器)、接收器、发射器、显示器、输出端口、输入端口和用户输入设备,诸如键盘、小键盘、鼠标、传声器、相机、激光光源、LED光源等等)。
尽管示出了一个处理器元件,但是应当注意的是,电子设备1200可以采用多个处理器元件。此外,尽管在图中示出了一个电子设备1200,但是如果针对特定说明性示例以分布式或并行的方式实现了如上面讨论的(一个或多个)方法,即,(一个或多个)上述方法的框或整个(一个或多个)方法跨多个或并行的电子设备而实现,则该图的电子设备1200意图表示那些多个电子设备中的每一个。
应当注意的是,本公开可以通过机器可读指令和/或以机器可读指令和硬件的组合形式来实现,例如,使用专用集成电路(ASIC)、可编程逻辑阵列(PLA),包括现场可编程门阵列(FPGA),或部署在硬件设备、通用计算机或任何其他硬件等同物上的状态机,例如与上面所讨论的(一个或多个)方法有关的计算机可读指令可以用于将硬件处理器配置成实行上面公开的(一个或多个)方法的框、功能和/或操作。
在一个示例中,用于本模块或过程1205以用于计算从传感器到对象的距离的指令和数据(例如,机器可读指令)可以被加载到存储器1204中,并且由硬件处理器元件1202执行以实现如上面结合方法200、500和1000所讨论的框、功能或操作。另外,当硬件处理器执行指令以实行“操作”时,这可以包括硬件处理器直接实行操作、和/或促进、指导另一个硬件设备或组件(例如,协处理器等等)或与另一个硬件设备或组件(例如,协处理器等)协作以实行这些操作。
执行与上述(一个或多个)方法有关的机器可读指令的处理器可以被认为是经编程的处理器或专用处理器。照此,本公开的用于计算从传感器到对象的距离的本模块1205可以被存储在有形或物理(宽泛地为非暂时性)计算机可读存储设备或介质(例如,易失性存储器、非易失性存储器、ROM存储器、RAM存储器、磁性或光学驱动器、设备或磁盘等等)上。更具体地,该计算机可读存储设备可以包括:提供存储信息的能力的任何物理设备,该信息诸如是将由处理器或电子设备(诸如安全传感器系统的计算机或控制器)访问的数据和/或指令。
将领会的是,上面所公开的变体以及其他特征和功能或其替代方案可以被组合到许多其他不同的系统或应用中。随后可以在其中做出各种目前无法预料或无法预期的替代方案、修改或变型,这些替代方案、修改或变型也意图由所附权利要求涵盖。
Claims (20)
1.一种方法,包括:
由距离传感器的处理系统指示所述距离传感器的图案投影仪在第一时序帧期间将光的图案投影到对象上;
由所述处理系统指示所述距离传感器的相机在第一时序帧期间获取对象的第一图像,其中所述第一图像是在将所述相机的曝光时间设置为第一值时获取的;
由所述处理系统指示所述图案投影仪在所述第一时序帧之后的第二时序帧期间将光的图案投影到对象上;
由所述处理系统指示所述相机在第二时序帧期间获取对象的第二图像,其中所述第二图像是在将所述相机的曝光时间设置为第一值时获取的;
由所述处理系统指示所述距离传感器的照明源在所述第二时序帧之后的第三时序帧期间照明所述对象;和
由所述处理系统指示所述相机在所述第三时序帧期间获取所述对象的第三图像,其中所述第三图像是在将所述相机的曝光时间设置为第一值时获取的。
2.根据权利要求1所述的方法,其中所述图案投影仪在所述第三时序帧期间不活动,从而使得所述光的图案不存在于所述第三图像中。
3.根据权利要求2所述的方法,其中所述第三图像包括二维图像。
4.根据权利要求1所述的方法,进一步包括:
由所述处理系统基于所述第一图像或所述第二图像中的至少一个计算从所述距离传感器到所述对象的距离。
5.根据权利要求1所述的方法,其中所述图案投影仪的光源与所述照明源的光源的类型不同。
6.根据权利要求1所述的方法,其中所述照明源的所述光源包括发光二极管。
7.根据权利要求6所述的方法,其中所述图案投影仪的所述光源包括激光光源。
8.根据权利要求6所述的方法,其中所述激光光源在所述第一时序帧和所述第二时序帧期间发射具有第一固定持续时间的光脉冲。
9.根据权利要求8所述的方法,其中所述第一固定持续时间的值大于所述第一值。
10.根据权利要求9所述的方法,其中所述发光二极管在所述第三时序帧期间发射具有第二固定持续时间的光脉冲。
11.根据权利要求10所述的方法,其中所述第二固定持续时间的值大于所述第一固定持续时间的值。
12.根据权利要求10所述的方法,其中所述发光二极管在所述第二时序帧的结束期间开始发射所述光脉冲并且在所述第三时序帧期间停止发射所述光脉冲。
13.根据权利要求12所述的方法,其中所述发光二极管在超过所述第二时序帧的一半时开始发射所述光脉冲。
14.根据权利要求12所述的方法,其中所述发光二极管在所述第三时序帧期间的所述相机的快门打开之前开始发射所述光脉冲。
15.根据权利要求1所述的方法,进一步包括:
由所述处理系统指示所述图案投影仪在所述第三时序帧之后的第四时序帧期间将所述光的图案投影到所述对象上;
由所述处理系统指示所述相机在所述第四时序帧期间获取所述对象的第四图像,其中所述第四图像是在将所述相机的曝光时间设置为第一值时获取的;
由所述处理系统指示所述图案投影仪在所述第四时序帧之后的第五时序帧期间将所述光的图案投影到所述对象上;
由所述处理系统指示所述相机在所述第五时序帧期间获取所述对象的第五图像,其中所述第五图像是在将所述相机的曝光时间设置为第一值时获取的;
由所述处理系统指示所述距离传感器的照明源在所述第五时序帧之后的第六时序帧期间照明所述对象;以及
由所述处理系统指示所述相机在所述第六时序帧期间获取所述对象的第六图像,其中所述第六图像是在将所述相机的曝光时间设置为第一值时获取的。
16.根据权利要求15所述的方法,其中所述图案投影仪在所述第三时序帧和所述第六时序帧期间不活动。
17.根据权利要求15所述的方法,其中所述图案投影仪以脉冲形式发射所述光的图案,所述脉冲在所述第一时序帧、所述第二时序帧、所述第四时序帧和所述第五时序帧期间持续第一固定持续时间。
18.根据权利要求15所述的方法,其中在所述第一时序帧期间发射的脉冲与所述第四时序帧期间发射的脉冲之间发生具有所述第一值的持续时间的三次相机曝光。
19.一种非暂时性机器可读存储介质,其上编码有可由距离传感器的处理系统执行的指令,其中当被执行时,所述指令使得所述处理系统执行操作,所述操作包括:
指示距离传感器的图案投影仪在第一时序帧期间将光的图案投影到对象上;
指示所述距离传感器的相机在第一时序帧期间获取对象的第一图像,其中所述第一图像是在将所述相机的曝光时间设置为第一值时获取的;
指示所述图案投影仪在所述第一时序帧之后的第二时序帧期间将光的图案投影到对象上;
指示所述相机在所述第二时序帧期间获取所述对象的第二图像,其中所述第二图像是在将所述相机的曝光时间设置为第一值时获取的;
指示所述距离传感器的照明源在所述第二时序帧之后的第三时序帧期间照明所述对象;以及
指示所述相机在所述第三时序帧期间获取所述对象的第三图像,其中所述第三图像是在将所述相机的曝光时间设置为第一值时获取的。
20.一种距离传感器,包括:
图案投影仪,所述图案投影仪配置为使用激光光源将光的图案投影到对象上;
照明源,所述照明源与所述激光光源分开,配置用于照明所述对象;
相机;
处理系统;和
非暂时性机器可读存储介质,被编码有可由所述处理系统执行的指令,其中当被执行时,所述指令使得所述处理系统执行操作,所述操作包括:
指示所述图案投影仪在第一时序帧期间将光的图案投影到所述对象上;
指示所述相机在第一时序帧期间获取对象的第一图像,其中所述第一图像是在将所述相机的曝光时间设置为第一值时获取的;
指示所述图案投影仪在所述第一时序帧之后的第二时序帧期间将光的图案投影到对象上;
指示所述相机在第二时序帧期间获取所述对象的第二图像,其中所述第二图像是在将所述相机的曝光时间设置为第一值时获取的;
指示所述照明源在所述第二时序帧之后的第三时序帧期间照明所述对象;以及
指示所述相机在所述第三时序帧期间获取所述对象的第三图像,其中所述第三图像是在将所述相机的曝光时间设置为第一值时获取的。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862645190P | 2018-03-20 | 2018-03-20 | |
US62/645190 | 2018-03-20 | ||
CN201980033874.8A CN112119628B (zh) | 2018-03-20 | 2019-03-14 | 调整相机曝光以用于三维深度感测和二维成像 |
PCT/US2019/022313 WO2019182871A1 (en) | 2018-03-20 | 2019-03-14 | Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980033874.8A Division CN112119628B (zh) | 2018-03-20 | 2019-03-14 | 调整相机曝光以用于三维深度感测和二维成像 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114827573A true CN114827573A (zh) | 2022-07-29 |
Family
ID=67985833
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980033874.8A Active CN112119628B (zh) | 2018-03-20 | 2019-03-14 | 调整相机曝光以用于三维深度感测和二维成像 |
CN202210561274.2A Pending CN114827573A (zh) | 2018-03-20 | 2019-03-14 | 调整相机曝光以用于三维深度感测和二维成像 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980033874.8A Active CN112119628B (zh) | 2018-03-20 | 2019-03-14 | 调整相机曝光以用于三维深度感测和二维成像 |
Country Status (7)
Country | Link |
---|---|
US (2) | US10931883B2 (zh) |
EP (1) | EP3769505A4 (zh) |
JP (1) | JP7354133B2 (zh) |
KR (1) | KR20200123483A (zh) |
CN (2) | CN112119628B (zh) |
TW (1) | TWI817996B (zh) |
WO (1) | WO2019182871A1 (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7133554B2 (ja) | 2016-12-07 | 2022-09-08 | マジック アイ インコーポレイテッド | 焦点調整可能な画像センサを含む距離センサ |
EP3692501A4 (en) | 2017-10-08 | 2021-07-07 | Magik Eye Inc. | CALIBRATION OF A SENSOR SYSTEM INCLUDING MULTIPLE MOBILE SENSORS |
KR20200054326A (ko) | 2017-10-08 | 2020-05-19 | 매직 아이 인코포레이티드 | 경도 그리드 패턴을 사용한 거리 측정 |
WO2019182881A1 (en) | 2018-03-20 | 2019-09-26 | Magik Eye Inc. | Distance measurement using projection patterns of varying densities |
WO2019182871A1 (en) * | 2018-03-20 | 2019-09-26 | Magik Eye Inc. | Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging |
CN112513565B (zh) | 2018-06-06 | 2023-02-10 | 魔眼公司 | 使用高密度投影图案的距离测量 |
WO2020033169A1 (en) | 2018-08-07 | 2020-02-13 | Magik Eye Inc. | Baffles for three-dimensional sensors having spherical fields of view |
WO2020150131A1 (en) * | 2019-01-20 | 2020-07-23 | Magik Eye Inc. | Three-dimensional sensor including bandpass filter having multiple passbands |
US11474209B2 (en) | 2019-03-25 | 2022-10-18 | Magik Eye Inc. | Distance measurement using high density projection patterns |
WO2020231747A1 (en) | 2019-05-12 | 2020-11-19 | Magik Eye Inc. | Mapping three-dimensional depth map data onto two-dimensional images |
US11320537B2 (en) | 2019-12-01 | 2022-05-03 | Magik Eye Inc. | Enhancing triangulation-based three-dimensional distance measurements with time of flight information |
CN111083386B (zh) * | 2019-12-24 | 2021-01-22 | 维沃移动通信有限公司 | 图像处理方法及电子设备 |
CN114830190A (zh) | 2019-12-29 | 2022-07-29 | 魔眼公司 | 将三维坐标与二维特征点相关联 |
JP2023510738A (ja) | 2020-01-05 | 2023-03-15 | マジック アイ インコーポレイテッド | 3次元カメラの座標系を2次元カメラの入射位置に移動させる方法 |
JP2023511339A (ja) * | 2020-01-18 | 2023-03-17 | マジック アイ インコーポレイテッド | 補足的正確性データを含む距離計測 |
CN114125193A (zh) * | 2020-08-31 | 2022-03-01 | 安霸国际有限合伙企业 | 使用具有结构光的rgb-ir传感器得到无污染视频流的计时机构 |
CN112104858B (zh) * | 2020-09-15 | 2022-05-27 | 佛山显扬科技有限公司 | 三维机器视觉系统环境光抑制成像方法 |
US20220284707A1 (en) * | 2021-03-08 | 2022-09-08 | Beijing Roborock Technology Co., Ltd. | Target detection and control method, system, apparatus and storage medium |
CN113075692A (zh) * | 2021-03-08 | 2021-07-06 | 北京石头世纪科技股份有限公司 | 目标检测及控制方法、系统、设备及存储介质 |
CN116248844B (zh) * | 2023-02-14 | 2024-04-30 | 深微光电科技(深圳)有限公司 | 图案数据的处理方法、装置、电子设备及存储介质 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060214121A1 (en) * | 2003-10-29 | 2006-09-28 | Olaf Schrey | Distance sensor and method for detecting a distance |
US7560679B1 (en) * | 2005-05-10 | 2009-07-14 | Siimpel, Inc. | 3D camera |
US20120056982A1 (en) * | 2010-09-08 | 2012-03-08 | Microsoft Corporation | Depth camera based on structured light and stereo vision |
JP2014228486A (ja) * | 2013-05-24 | 2014-12-08 | インスペック株式会社 | 三次元プロファイル取得装置、パターン検査装置及び三次元プロファイル取得方法 |
CN104459711A (zh) * | 2014-12-09 | 2015-03-25 | 中国科学院半导体研究所 | 一种实现实时距离选通三维成像系统及成像方法 |
CN104601899A (zh) * | 2013-10-30 | 2015-05-06 | 佳能株式会社 | 图像处理装置和图像处理方法 |
DE102014114506A1 (de) * | 2014-10-07 | 2016-04-07 | Sick Ag | Kamera zur Montage an einer Fördereinrichtung und Verfahren zur Inspektion oder Identifikation |
EP3012579A1 (en) * | 2014-10-21 | 2016-04-27 | Hand Held Products, Inc. | System and method for dimensioning |
US20160163031A1 (en) * | 2014-12-05 | 2016-06-09 | Mantisvision Ltd. | Markers in 3d data capture |
CN105806249A (zh) * | 2016-04-15 | 2016-07-27 | 南京拓控信息科技股份有限公司 | 一种使用单相机同时实现图像采集和深度测量的方法 |
US20170234985A1 (en) * | 2016-02-11 | 2017-08-17 | Massachusetts Institute Of Technology | Methods and Apparatus for Time-of-Flight Imaging |
JP2017215374A (ja) * | 2016-05-30 | 2017-12-07 | パナソニックIpマネジメント株式会社 | 画像投影システムおよび画像投影方法 |
US20180073863A1 (en) * | 2015-05-29 | 2018-03-15 | Olympus Corporation | Illumination apparatus and measurement apparatus |
CN112119628A (zh) * | 2018-03-20 | 2020-12-22 | 魔眼公司 | 调整相机曝光以用于三维深度感测和二维成像 |
Family Cites Families (147)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4914460A (en) | 1987-05-29 | 1990-04-03 | Harbor Branch Oceanographic Institution Inc. | Apparatus and methods of determining distance and orientation |
US4954962A (en) | 1988-09-06 | 1990-09-04 | Transitions Research Corporation | Visual navigation and obstacle avoidance structured light system |
JPH0451112A (ja) | 1990-06-19 | 1992-02-19 | Fujitsu Ltd | マルチスリット投光器 |
JPH08555A (ja) | 1994-06-16 | 1996-01-09 | Fuji Photo Optical Co Ltd | 内視鏡の照明装置 |
US5699444A (en) | 1995-03-31 | 1997-12-16 | Synthonics Incorporated | Methods and apparatus for using image data to determine camera location and orientation |
JP3328111B2 (ja) | 1995-08-23 | 2002-09-24 | 日本電気株式会社 | 空間距離測定方法及び空間距離測定装置 |
US6038415A (en) | 1997-07-18 | 2000-03-14 | Minolta Co., Ltd. | Image forming apparatus and image-carrier cartridge device which is employed in the same |
EP0898245B1 (en) | 1997-08-05 | 2004-04-14 | Canon Kabushiki Kaisha | Image processing method and apparatus |
US5980454A (en) | 1997-12-01 | 1999-11-09 | Endonetics, Inc. | Endoscopic imaging system employing diffractive optical elements |
US5870136A (en) | 1997-12-05 | 1999-02-09 | The University Of North Carolina At Chapel Hill | Dynamic generation of imperceptible structured light for tracking and acquisition of three dimensional scene geometry and surface characteristics in interactive three dimensional computer graphics applications |
AUPP299498A0 (en) | 1998-04-15 | 1998-05-07 | Commonwealth Scientific And Industrial Research Organisation | Method of tracking and sensing position of objects |
US7193645B1 (en) | 2000-07-27 | 2007-03-20 | Pvi Virtual Media Services, Llc | Video system and method of operating a video system |
US6937350B2 (en) | 2001-06-29 | 2005-08-30 | Massachusetts Institute Of Technology | Apparatus and methods for optically monitoring thickness |
US7940299B2 (en) | 2001-08-09 | 2011-05-10 | Technest Holdings, Inc. | Method and apparatus for an omni-directional video surveillance system |
GB2395261A (en) | 2002-11-11 | 2004-05-19 | Qinetiq Ltd | Ranging apparatus |
JP2004212385A (ja) | 2002-12-19 | 2004-07-29 | Olympus Corp | 撮影装置とその撮影装置の撮影方法及び制御方法 |
TWI247104B (en) | 2003-02-26 | 2006-01-11 | Hon Hai Prec Ind Co Ltd | A measuring method for pattern of light guide plate |
DE10308383A1 (de) | 2003-02-27 | 2004-09-16 | Storz Endoskop Produktions Gmbh | Verfahren und optisches System zur Vermessung der Topographie eines Meßobjekts |
IL157877A0 (en) * | 2003-09-11 | 2004-03-28 | Imagine It S Happening Ltd | Color edge based 3d scanner |
WO2005076198A1 (en) | 2004-02-09 | 2005-08-18 | Cheol-Gwon Kang | Device for measuring 3d shape using irregular pattern and method for the same |
US7191056B2 (en) | 2005-01-04 | 2007-03-13 | The Boeing Company | Precision landmark-aided navigation |
JP2006313116A (ja) | 2005-05-09 | 2006-11-16 | Nec Viewtechnology Ltd | 距離傾斜角度検出装置および該検出装置を備えたプロジェクタ |
JP4644540B2 (ja) | 2005-06-28 | 2011-03-02 | 富士通株式会社 | 撮像装置 |
US20070091174A1 (en) | 2005-09-30 | 2007-04-26 | Topcon Corporation | Projection device for three-dimensional measurement, and three-dimensional measurement system |
JP4760391B2 (ja) | 2006-01-13 | 2011-08-31 | カシオ計算機株式会社 | 測距装置及び測距方法 |
JP4799216B2 (ja) | 2006-03-03 | 2011-10-26 | 富士通株式会社 | 距離測定機能を有する撮像装置 |
US7375803B1 (en) | 2006-05-18 | 2008-05-20 | Canesta, Inc. | RGBZ (red, green, blue, z-depth) filter system usable with sensor systems, including sensor systems with synthetic mirror enhanced three-dimensional imaging |
JP4889373B2 (ja) * | 2006-05-24 | 2012-03-07 | ローランドディー.ジー.株式会社 | 3次元形状測定方法およびその装置 |
US8471892B2 (en) | 2006-11-23 | 2013-06-25 | Z. Jason Geng | Wide field-of-view reflector and method of designing and making same |
TWI320480B (en) | 2007-04-23 | 2010-02-11 | Univ Nat Formosa | One diffraction 6 degree of freedom optoelectronic measurement system |
CN102027388B (zh) | 2008-04-11 | 2013-08-28 | 瑞士联邦理工大学,洛桑(Epfl) | 采用显示器作为照明源的基于飞行时间的成像系统 |
US8187097B1 (en) | 2008-06-04 | 2012-05-29 | Zhang Evan Y W | Measurement and segment of participant's motion in game play |
DE102008031942A1 (de) | 2008-07-07 | 2010-01-14 | Steinbichler Optotechnik Gmbh | Verfahren und Vorrichtung zur 3D-Digitalisierung eines Objekts |
DE112009001652T5 (de) | 2008-07-08 | 2012-01-12 | Chiaro Technologies, Inc. | Mehrkanal-Erfassung |
US8334900B2 (en) | 2008-07-21 | 2012-12-18 | The Hong Kong University Of Science And Technology | Apparatus and method of optical imaging for medical diagnosis |
JP2010091855A (ja) | 2008-10-09 | 2010-04-22 | Denso Corp | レーザビーム照射装置 |
JP5251419B2 (ja) | 2008-10-22 | 2013-07-31 | 日産自動車株式会社 | 距離計測装置および距離計測方法 |
CN101794065A (zh) | 2009-02-02 | 2010-08-04 | 中强光电股份有限公司 | 投影显示系统 |
US20100223706A1 (en) | 2009-03-03 | 2010-09-09 | Illinois Tool Works Inc. | Welding helmet audio communication systems and methods with bone conduction transducers |
JP5484098B2 (ja) | 2009-03-18 | 2014-05-07 | 三菱電機株式会社 | 投写光学系及び画像表示装置 |
JP4991787B2 (ja) | 2009-04-24 | 2012-08-01 | パナソニック株式会社 | 反射型光電センサ |
GB0921461D0 (en) | 2009-12-08 | 2010-01-20 | Qinetiq Ltd | Range based sensing |
US8320621B2 (en) | 2009-12-21 | 2012-11-27 | Microsoft Corporation | Depth projector system with integrated VCSEL array |
US20110188054A1 (en) | 2010-02-02 | 2011-08-04 | Primesense Ltd | Integrated photonics module for optical projection |
JP5612916B2 (ja) | 2010-06-18 | 2014-10-22 | キヤノン株式会社 | 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム |
JP5499985B2 (ja) | 2010-08-09 | 2014-05-21 | ソニー株式会社 | 表示装置組立体 |
US8964189B2 (en) | 2010-08-19 | 2015-02-24 | Canon Kabushiki Kaisha | Three-dimensional measurement apparatus, method for three-dimensional measurement, and computer program |
JP5163713B2 (ja) | 2010-08-24 | 2013-03-13 | カシオ計算機株式会社 | 距離画像センサ及び距離画像生成装置並びに距離画像データ取得方法及び距離画像生成方法 |
US8830637B2 (en) | 2010-08-31 | 2014-09-09 | Texas Instruments Incorporated | Methods and apparatus to clamp overvoltages for alternating current systems |
US8593535B2 (en) | 2010-09-10 | 2013-11-26 | Apple Inc. | Relative positioning of devices based on captured images of tags |
EP2433716A1 (en) | 2010-09-22 | 2012-03-28 | Hexagon Technology Center GmbH | Surface spraying device with a nozzle control mechanism and a corresponding method |
TWI428558B (zh) | 2010-11-10 | 2014-03-01 | Pixart Imaging Inc | 測距方法、測距系統與其處理軟體 |
JP5815940B2 (ja) | 2010-12-15 | 2015-11-17 | キヤノン株式会社 | 距離計測装置、距離計測方法、およびプログラム |
US9888225B2 (en) | 2011-02-04 | 2018-02-06 | Koninklijke Philips N.V. | Method of recording an image and obtaining 3D information from the image, camera system |
JP5746529B2 (ja) | 2011-03-16 | 2015-07-08 | キヤノン株式会社 | 三次元距離計測装置、三次元距離計測方法、およびプログラム |
WO2012123948A1 (en) | 2011-03-17 | 2012-09-20 | Mirobot Ltd. | System and method for three dimensional teat modeling for use with a milking system |
JP2014122789A (ja) | 2011-04-08 | 2014-07-03 | Sanyo Electric Co Ltd | 情報取得装置、投射装置および物体検出装置 |
JP5830270B2 (ja) | 2011-05-24 | 2015-12-09 | オリンパス株式会社 | 内視鏡装置および計測方法 |
EP2718668B1 (en) | 2011-06-07 | 2023-07-26 | Creaform Inc. | Sensor positioning for 3d scanning |
KR101974651B1 (ko) | 2011-06-22 | 2019-05-02 | 성균관대학교산학협력단 | 경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템 |
US10054430B2 (en) | 2011-08-09 | 2018-08-21 | Apple Inc. | Overlapping pattern projector |
US8797512B2 (en) * | 2011-09-15 | 2014-08-05 | Advanced Scientific Concepts, Inc. | Automatic range corrected flash ladar camera |
KR101605224B1 (ko) | 2011-10-05 | 2016-03-22 | 한국전자통신연구원 | 패턴 광을 이용한 깊이 정보 획득 장치 및 방법 |
US9142025B2 (en) | 2011-10-05 | 2015-09-22 | Electronics And Telecommunications Research Institute | Method and apparatus for obtaining depth information using optical pattern |
US9692991B2 (en) | 2011-11-04 | 2017-06-27 | Qualcomm Incorporated | Multispectral imaging system |
TW201329509A (zh) | 2012-01-10 | 2013-07-16 | Walsin Lihwa Corp | 立體掃瞄裝置及其立體掃瞄方法 |
US9986208B2 (en) | 2012-01-27 | 2018-05-29 | Qualcomm Incorporated | System and method for determining location of a device using opposing cameras |
KR20140116551A (ko) | 2012-01-31 | 2014-10-02 | 쓰리엠 이노베이티브 프로퍼티즈 캄파니 | 표면의 삼차원 구조를 측정하는 방법 및 장치 |
US10937239B2 (en) * | 2012-02-23 | 2021-03-02 | Charles D. Huston | System and method for creating an environment and for sharing an event |
EP2821748B1 (en) | 2012-03-01 | 2019-07-31 | Nissan Motor Co., Ltd | Range finding device and range finding method |
WO2013145164A1 (ja) | 2012-03-28 | 2013-10-03 | 富士通株式会社 | 撮像装置 |
EP2849648B1 (en) | 2012-05-18 | 2020-01-08 | Siemens Healthcare Diagnostics Inc. | Fish eye lens imaging apparatus and imaging method |
US8699005B2 (en) | 2012-05-27 | 2014-04-15 | Planitar Inc | Indoor surveying apparatus |
WO2014008904A1 (en) | 2012-07-10 | 2014-01-16 | Wavelight Gmbh | Process and apparatus for determining optical aberrations of an eye |
US20140016113A1 (en) | 2012-07-13 | 2014-01-16 | Microsoft Corporation | Distance sensor using structured light |
JP2014020978A (ja) | 2012-07-20 | 2014-02-03 | Fujitsu Ltd | 照射装置、距離測定装置、照射装置のキャリブレーションプログラム及びキャリブレーション方法 |
EP2696590B1 (en) | 2012-08-06 | 2014-09-24 | Axis AB | Image sensor positioning apparatus and method |
US9741184B2 (en) | 2012-10-14 | 2017-08-22 | Neonode Inc. | Door handle with optical proximity sensors |
KR102556725B1 (ko) | 2012-10-24 | 2023-07-17 | 시리얼 테크놀로지즈 에스.에이. | 조명 디바이스 |
US9285893B2 (en) | 2012-11-08 | 2016-03-15 | Leap Motion, Inc. | Object detection and tracking with variable-field illumination devices |
JP6241793B2 (ja) | 2012-12-20 | 2017-12-06 | パナソニックIpマネジメント株式会社 | 3次元測定装置および3次元測定方法 |
US10466359B2 (en) | 2013-01-01 | 2019-11-05 | Inuitive Ltd. | Method and system for light patterning and imaging |
US9691163B2 (en) | 2013-01-07 | 2017-06-27 | Wexenergy Innovations Llc | System and method of measuring distances related to an object utilizing ancillary objects |
US8768559B1 (en) | 2013-01-22 | 2014-07-01 | Qunomic Virtual Technology, LLC | Line projection system |
US9142019B2 (en) | 2013-02-28 | 2015-09-22 | Google Technology Holdings LLC | System for 2D/3D spatial feature processing |
US9364167B2 (en) | 2013-03-15 | 2016-06-14 | Lx Medical Corporation | Tissue imaging and image guidance in luminal anatomic structures and body cavities |
US10105149B2 (en) | 2013-03-15 | 2018-10-23 | Board Of Regents Of The University Of Nebraska | On-board tool tracking system and methods of computer assisted surgery |
US20140320605A1 (en) | 2013-04-25 | 2014-10-30 | Philip Martin Johnson | Compound structured light projection system for 3-D surface profiling |
US9536339B1 (en) | 2013-06-13 | 2017-01-03 | Amazon Technologies, Inc. | Processing unordered point cloud |
US10061028B2 (en) | 2013-09-05 | 2018-08-28 | Texas Instruments Incorporated | Time-of-flight (TOF) assisted structured light imaging |
JP6211876B2 (ja) | 2013-10-01 | 2017-10-11 | 株式会社トプコン | 測定方法及び測定装置 |
CN103559735B (zh) | 2013-11-05 | 2017-03-01 | 重庆安钻理科技股份有限公司 | 一种三维重建方法及系统 |
US20150311977A1 (en) * | 2013-12-16 | 2015-10-29 | Qualcomm Incorporated | Methods and apparatus for configuring an image sensor for decoding high frequency visible light communication signals |
BR112016015664A8 (pt) | 2014-01-06 | 2020-06-09 | Eyelock Llc | aparelho para gerar repetidamente imagens de uma íris e dispositivo de reconhecimento de imagem de íris de uso repetitivo |
GB2522248A (en) | 2014-01-20 | 2015-07-22 | Promethean Ltd | Interactive system |
KR102166691B1 (ko) | 2014-02-27 | 2020-10-16 | 엘지전자 주식회사 | 객체의 3차원 형상을 산출하는 장치 및 방법 |
US9526427B2 (en) | 2014-03-21 | 2016-12-27 | Hypermed Imaging, Inc. | Compact light sensors with symmetrical lighting |
US9307231B2 (en) | 2014-04-08 | 2016-04-05 | Lucasfilm Entertainment Company Ltd. | Calibration target for video processing |
JP6002275B2 (ja) | 2014-04-30 | 2016-10-05 | シナノケンシ株式会社 | 計測装置 |
JP5829306B2 (ja) | 2014-05-12 | 2015-12-09 | ファナック株式会社 | レンジセンサの配置位置評価装置 |
US10207193B2 (en) | 2014-05-21 | 2019-02-19 | Universal City Studios Llc | Optical tracking system for automation of amusement park elements |
US9699393B2 (en) | 2014-06-26 | 2017-07-04 | Semiconductor Components Industries, Llc | Imaging systems for infrared and visible imaging with patterned infrared cutoff filters |
WO2016025502A1 (en) | 2014-08-11 | 2016-02-18 | Gerard Dirk Smits | Three-dimensional triangulation and time-of-flight based tracking systems and methods |
KR20160020323A (ko) | 2014-08-13 | 2016-02-23 | 옥은호 | 평행 적외선 투사기와 카메라 모듈로 구성되는 거리 측정 센서 |
JP6264234B2 (ja) | 2014-09-02 | 2018-01-24 | 株式会社Jvcケンウッド | 撮像装置、撮像装置の制御方法及び制御プログラム |
JP6370177B2 (ja) | 2014-09-05 | 2018-08-08 | 株式会社Screenホールディングス | 検査装置および検査方法 |
WO2016039736A1 (en) * | 2014-09-10 | 2016-03-17 | Hewlett-Packard Development Company, L.P. | Image projection and capture with simultaneous display of led light |
KR20170072319A (ko) * | 2014-10-24 | 2017-06-26 | 매직 아이 인코포레이티드 | 거리 센서 |
JP6121063B1 (ja) | 2014-11-04 | 2017-04-26 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | カメラ較正方法、デバイス及びシステム |
US20160128553A1 (en) | 2014-11-07 | 2016-05-12 | Zheng Jason Geng | Intra- Abdominal Lightfield 3D Endoscope and Method of Making the Same |
US20160157725A1 (en) | 2014-12-08 | 2016-06-09 | Luis Daniel Munoz | Device, system and methods for assessing tissue structures, pathology, and healing |
KR102369792B1 (ko) | 2015-03-05 | 2022-03-03 | 한화테크윈 주식회사 | 촬영 장치 및 촬영 방법 |
JP6484072B2 (ja) | 2015-03-10 | 2019-03-13 | アルプスアルパイン株式会社 | 物体検出装置 |
CN107407728B (zh) * | 2015-03-26 | 2020-05-22 | 富士胶片株式会社 | 距离图像获取装置以及距离图像获取方法 |
CN107709925B (zh) | 2015-03-27 | 2018-12-14 | 富士胶片株式会社 | 距离图像获取装置 |
WO2016157600A1 (ja) | 2015-03-30 | 2016-10-06 | 富士フイルム株式会社 | 距離画像取得装置及び距離画像取得方法 |
US9694498B2 (en) | 2015-03-30 | 2017-07-04 | X Development Llc | Imager for detecting visual light and projected patterns |
US10488192B2 (en) | 2015-05-10 | 2019-11-26 | Magik Eye Inc. | Distance sensor projecting parallel patterns |
JP6761817B2 (ja) | 2015-05-10 | 2020-09-30 | マジック アイ インコーポレイテッド | 物体までの距離を算出するための方法 |
DE102015209143B4 (de) | 2015-05-19 | 2020-02-27 | Esaote S.P.A. | Verfahren zur Bestimmung einer Abbildungsvorschrift und bildgestützten Navigation sowie Vorrichtung zur bildgestützten Navigation |
KR20170005649A (ko) | 2015-07-06 | 2017-01-16 | 엘지전자 주식회사 | 3차원 깊이 카메라 모듈 및 이를 구비하는 이동 단말기 |
WO2017038015A1 (ja) * | 2015-08-28 | 2017-03-09 | パナソニックIpマネジメント株式会社 | 撮像装置および撮像方法 |
DE102015115011A1 (de) | 2015-09-08 | 2017-03-09 | Valeo Schalter Und Sensoren Gmbh | Laserscanner für Kraftfahrzeuge |
US10176554B2 (en) | 2015-10-05 | 2019-01-08 | Google Llc | Camera calibration using synthetic images |
JP6597150B2 (ja) | 2015-10-09 | 2019-10-30 | 富士通株式会社 | 距離測定装置、距離測定方法、距離測定プログラムおよびテーブルの作成方法 |
FR3042610B1 (fr) | 2015-10-14 | 2018-09-07 | Quantificare | Dispositif et procede pour reconstruire en trois dimensions la tete et le corps |
US10942261B2 (en) | 2015-10-21 | 2021-03-09 | Samsung Electronics Co., Ltd | Apparatus for and method of range sensor based on direct time-of-flight and triangulation |
US10453185B2 (en) * | 2015-11-12 | 2019-10-22 | Aquifi, Inc. | System and method for high dynamic range depth capture using multiple cameras |
JP6038415B1 (ja) * | 2015-11-25 | 2016-12-07 | 三菱電機株式会社 | 3次元画像計測装置及び方法 |
KR20170094968A (ko) | 2016-02-12 | 2017-08-22 | 엘지이노텍 주식회사 | 피사체 거리 측정 부재, 이를 갖는 카메라 모듈 |
US11030775B2 (en) | 2016-03-17 | 2021-06-08 | Flir Systems, Inc. | Minimal user input video analytics systems and methods |
CN107438148B (zh) | 2016-05-27 | 2021-08-24 | 松下知识产权经营株式会社 | 摄像系统 |
US9686539B1 (en) | 2016-06-12 | 2017-06-20 | Apple Inc. | Camera pair calibration using non-standard calibration objects |
US10163216B2 (en) * | 2016-06-15 | 2018-12-25 | Hand Held Products, Inc. | Automatic mode switching in a volume dimensioner |
JP7133554B2 (ja) | 2016-12-07 | 2022-09-08 | マジック アイ インコーポレイテッド | 焦点調整可能な画像センサを含む距離センサ |
US20180227566A1 (en) | 2017-02-06 | 2018-08-09 | Microsoft Technology Licensing, Llc | Variable field of view and directional sensors for mobile machine vision applications |
US11025887B2 (en) | 2017-02-27 | 2021-06-01 | Sony Corporation | Field calibration of stereo cameras with a projector |
US10769914B2 (en) | 2017-06-07 | 2020-09-08 | Amazon Technologies, Inc. | Informative image data generation using audio/video recording and communication devices |
WO2019041116A1 (zh) | 2017-08-29 | 2019-03-07 | 深圳市汇顶科技股份有限公司 | 光学测距方法以及光学测距装置 |
KR20200054326A (ko) | 2017-10-08 | 2020-05-19 | 매직 아이 인코포레이티드 | 경도 그리드 패턴을 사용한 거리 측정 |
EP3692501A4 (en) | 2017-10-08 | 2021-07-07 | Magik Eye Inc. | CALIBRATION OF A SENSOR SYSTEM INCLUDING MULTIPLE MOBILE SENSORS |
US10679076B2 (en) | 2017-10-22 | 2020-06-09 | Magik Eye Inc. | Adjusting the projection system of a distance sensor to optimize a beam layout |
WO2019182881A1 (en) | 2018-03-20 | 2019-09-26 | Magik Eye Inc. | Distance measurement using projection patterns of varying densities |
CN112513565B (zh) | 2018-06-06 | 2023-02-10 | 魔眼公司 | 使用高密度投影图案的距离测量 |
WO2020033169A1 (en) | 2018-08-07 | 2020-02-13 | Magik Eye Inc. | Baffles for three-dimensional sensors having spherical fields of view |
US20200182974A1 (en) | 2018-12-08 | 2020-06-11 | Magik Eye Inc. | Vertical cavity surface emitting laser-based projector |
WO2020150131A1 (en) | 2019-01-20 | 2020-07-23 | Magik Eye Inc. | Three-dimensional sensor including bandpass filter having multiple passbands |
-
2019
- 2019-03-14 WO PCT/US2019/022313 patent/WO2019182871A1/en unknown
- 2019-03-14 JP JP2020550142A patent/JP7354133B2/ja active Active
- 2019-03-14 CN CN201980033874.8A patent/CN112119628B/zh active Active
- 2019-03-14 EP EP19770406.7A patent/EP3769505A4/en active Pending
- 2019-03-14 CN CN202210561274.2A patent/CN114827573A/zh active Pending
- 2019-03-14 KR KR1020207029805A patent/KR20200123483A/ko not_active Application Discontinuation
- 2019-03-14 US US16/353,859 patent/US10931883B2/en active Active
- 2019-03-19 TW TW108109293A patent/TWI817996B/zh active
-
2021
- 2021-01-26 US US17/158,131 patent/US11381753B2/en active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060214121A1 (en) * | 2003-10-29 | 2006-09-28 | Olaf Schrey | Distance sensor and method for detecting a distance |
US7560679B1 (en) * | 2005-05-10 | 2009-07-14 | Siimpel, Inc. | 3D camera |
US20120056982A1 (en) * | 2010-09-08 | 2012-03-08 | Microsoft Corporation | Depth camera based on structured light and stereo vision |
CN102385237A (zh) * | 2010-09-08 | 2012-03-21 | 微软公司 | 基于结构化光和立体视觉的深度相机 |
JP2014228486A (ja) * | 2013-05-24 | 2014-12-08 | インスペック株式会社 | 三次元プロファイル取得装置、パターン検査装置及び三次元プロファイル取得方法 |
EP2869023A1 (en) * | 2013-10-30 | 2015-05-06 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
CN104601899A (zh) * | 2013-10-30 | 2015-05-06 | 佳能株式会社 | 图像处理装置和图像处理方法 |
DE102014114506A1 (de) * | 2014-10-07 | 2016-04-07 | Sick Ag | Kamera zur Montage an einer Fördereinrichtung und Verfahren zur Inspektion oder Identifikation |
EP3012579A1 (en) * | 2014-10-21 | 2016-04-27 | Hand Held Products, Inc. | System and method for dimensioning |
US20160163031A1 (en) * | 2014-12-05 | 2016-06-09 | Mantisvision Ltd. | Markers in 3d data capture |
CN104459711A (zh) * | 2014-12-09 | 2015-03-25 | 中国科学院半导体研究所 | 一种实现实时距离选通三维成像系统及成像方法 |
US20180073863A1 (en) * | 2015-05-29 | 2018-03-15 | Olympus Corporation | Illumination apparatus and measurement apparatus |
US20170234985A1 (en) * | 2016-02-11 | 2017-08-17 | Massachusetts Institute Of Technology | Methods and Apparatus for Time-of-Flight Imaging |
CN105806249A (zh) * | 2016-04-15 | 2016-07-27 | 南京拓控信息科技股份有限公司 | 一种使用单相机同时实现图像采集和深度测量的方法 |
JP2017215374A (ja) * | 2016-05-30 | 2017-12-07 | パナソニックIpマネジメント株式会社 | 画像投影システムおよび画像投影方法 |
CN112119628A (zh) * | 2018-03-20 | 2020-12-22 | 魔眼公司 | 调整相机曝光以用于三维深度感测和二维成像 |
Also Published As
Publication number | Publication date |
---|---|
EP3769505A4 (en) | 2021-12-01 |
WO2019182871A1 (en) | 2019-09-26 |
KR20200123483A (ko) | 2020-10-29 |
JP2021518700A (ja) | 2021-08-02 |
TWI817996B (zh) | 2023-10-11 |
EP3769505A1 (en) | 2021-01-27 |
US20190297241A1 (en) | 2019-09-26 |
JP7354133B2 (ja) | 2023-10-02 |
CN112119628B (zh) | 2022-06-03 |
US20210152723A1 (en) | 2021-05-20 |
CN112119628A (zh) | 2020-12-22 |
US11381753B2 (en) | 2022-07-05 |
US10931883B2 (en) | 2021-02-23 |
TW201946451A (zh) | 2019-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112119628B (zh) | 调整相机曝光以用于三维深度感测和二维成像 | |
US20200236315A1 (en) | Three-dimensional sensor including bandpass filter having multiple passbands | |
US10412352B2 (en) | Projector apparatus with distance image acquisition device and projection mapping method | |
CN112954288B (zh) | 图像投影系统和图像投影方法 | |
US20130038882A1 (en) | Object detecting device and information acquiring device | |
US9953428B2 (en) | Digital camera unit with simultaneous structured and unstructured illumination | |
JP2019508717A5 (ja) | 自動被写体検出および視覚システムの照明不変画像センサの方法および装置 | |
US20100265316A1 (en) | Three-dimensional mapping and imaging | |
US10663593B2 (en) | Projector apparatus with distance image acquisition device and projection method | |
KR20160007361A (ko) | 투영광원을 구비한 촬영방법 및 그 촬영장치 | |
EP3403397B1 (en) | Through-focus image combination | |
US11019249B2 (en) | Mapping three-dimensional depth map data onto two-dimensional images | |
CN108760245B (zh) | 光学元件检测方法和装置、电子设备、可读存储介质 | |
CN110235442B (zh) | 投射型影像显示装置 | |
KR102333490B1 (ko) | 이종 이미지 처리 장치 | |
JP2017191083A (ja) | 輝点画像取得装置および輝点画像取得方法 | |
CN108881674B (zh) | 图像采集装置和图像处理方法 | |
WO2023220805A1 (en) | System, apparatus and method for performing a 3d surface scan and/or texture acquisition using rolling shutter cameras | |
JP5298705B2 (ja) | 撮像装置 | |
JP2012105232A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |