CN113039457A - 通过透射盖使用光学飞行时间技术进行深度感测 - Google Patents
通过透射盖使用光学飞行时间技术进行深度感测 Download PDFInfo
- Publication number
- CN113039457A CN113039457A CN201980075120.9A CN201980075120A CN113039457A CN 113039457 A CN113039457 A CN 113039457A CN 201980075120 A CN201980075120 A CN 201980075120A CN 113039457 A CN113039457 A CN 113039457A
- Authority
- CN
- China
- Prior art keywords
- transmissive cover
- signal reflected
- optical signal
- phase shift
- amplitude
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 title claims description 69
- 238000002366 time-of-flight method Methods 0.000 title description 2
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000010363 phase shift Effects 0.000 claims description 50
- 238000012545 processing Methods 0.000 claims description 26
- 230000004044 response Effects 0.000 claims description 19
- 238000011109 contamination Methods 0.000 claims description 7
- 230000005693 optoelectronics Effects 0.000 claims description 5
- 238000012804 iterative process Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 abstract description 18
- 230000003472 neutralizing effect Effects 0.000 abstract description 3
- 239000006059 cover glass Substances 0.000 description 39
- 238000004590 computer program Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 9
- 239000004065 semiconductor Substances 0.000 description 6
- ARXHIJMGSIYYRZ-UHFFFAOYSA-N 1,2,4-trichloro-3-(3,4-dichlorophenyl)benzene Chemical compound C1=C(Cl)C(Cl)=CC=C1C1=C(Cl)C=CC(Cl)=C1Cl ARXHIJMGSIYYRZ-UHFFFAOYSA-N 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 125000006850 spacer group Chemical group 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000010420 art technique Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
- G01S7/4813—Housing arrangements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/02—Details
- G01J1/04—Optical or mechanical part supplementary adjustable parts
- G01J1/0407—Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings
- G01J1/0425—Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings using optical fibers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
- G01S2007/4975—Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
用于动态确定来自透射盖的反射的强度并中和它的技术，以改善深度测量的准确性。获得多个频率下的光调制的深度测量–其也可以被用于深度消歧–并将其用于对信息进行解耦以估计由透射盖本身或透射盖上的污迹反射的信号的强度以及由目标对象反射的信号的强度。
Description
技术领域
本公开涉及使用光学飞行时间(time-of-flight，TOF)技术的深度感测。
背景技术
一些手持计算设备(诸如智能电话)可以提供多种不同的光学功能，诸如一维(1D)或三维(3D)手势检测、3D成像、飞行时间或接近度检测、环境光感测和/或前置二维(2D)相机成像。
例如，TOF传感器可以被用于检测到对象的距离或获得3D深度信息。一般而言，TOF系统基于发射的强度调制光的相位测量技术，该强度调制光被场景中的一个或多个对象反射。反射的光被成像到传感器上，并且光生电子在传感器中被解调。基于相位信息，可以针对传感器中每个像素确定到场景中某个点的距离(或深度)。
TOF传感器有时部署在主机设备(例如，智能电话)的盖玻璃下方。如果在盖玻璃的表面上存在污染(即，污迹)，光通过该表面朝着场景发射，那么污迹会将所发射的光中的一些朝着检测像素反射回去。这样的情况会导致距离或深度数据的不准确估计。
发明内容
本公开描述了用于动态确定来自透射盖(例如，盖玻璃)的反射的强度并中和(neutralize)该反射的强度以改善深度测量的准确性的技术。获得多个频率下的光调制的深度测量(其也可以被用于深度消歧)，并将其用于对信息进行解耦，以估计由透射盖(即，透射盖本身或透射盖上的污迹)反射的信号的强度和由目标对象反射的信号的强度。
例如，在一个方面，本公开描述了一种方法，该方法包括以第一调制频率从模块发射光并且以第二调制频率发射光，其中光通过透射盖朝着目标发射。该方法包括响应于以第一调制频率发射的光而测量表示由目标反射的光学信号和由透射盖反射的光学信号的组合的第一幅度和相移值，以及响应于以第二调制频率发射的光而测量表示由目标反射的光学信号和由透射盖反射的光学信号的组合的第二幅度和相移值。该方法还包括估计由透射盖反射的光学信号的幅度和由透射盖反射的光学信号的幅度，其中该估计至少部分地基于测量的第一及第二幅度和相移值并且基于在模块的校准期间获得的相移值。
在另一方面，本公开描述了一种装置，该装置包括透射盖、存储校准阶段相移值的存储器、光发射器和深度相机。光发射器可操作以便以第一调制频率从模块发射光并且可操作以便以第二调制频率发射光，其中光通过透射盖朝着目标发射。深度相机可操作以响应于以第一调制频率发射的光而测量表示由目标反射的光学信号和由透射盖反射的光学信号的组合的第一幅度和相移值。深度相机还可操作以响应于以第二调制频率发射的光而测量表示由目标反射的光学信号和由透射盖反射的光学信号的组合的第二幅度和相移值。该装置包括处理电路，该处理电路可操作以估计由透射盖反射的光学信号的幅度和由透射盖反射的光学信号的幅度。该处理电路可操作以至少部分地基于测量的第一及第二幅度和相移值并且基于校准阶段相移值来执行估计。
一些实施方式包括以下特征中的一个或多个。例如，在模块的校准期间获得的相移值可以分别表示由透射盖反射的光学信号的相移值和由目标反射的光学信号的相移值。另外，由透射盖反射的光学信号中的每一个可以包括由透射盖本身反射的光学信号或由透射盖上的污迹反射的光学信号中的至少一个。
在一些情况下，估计包括针对四个未知变量的值求解四个非线性方程式。估计可以包括例如使用迭代过程(例如，梯度下降)。
在一些情况下，由处理电路估计的幅度值可以提供高度准确的数据，并且可以被用于修改主机设备的各种组件或触发其它动作。因此，在一些实施方式中，响应于估计的值中的一个或多个而调整其中部署有模块的主机设备的特性。例如，可以响应于估计的值中的一个或多个而调整显示屏的亮度。另外，在一些情况下，基于由透射盖反射的光学信号的幅度的估计的值，确定透射盖上可能存在污迹，并且响应于确定透射盖上可能存在污迹，生成警报。警报可以指示例如应当清洁透射盖以去除其表面上的污染。
通过以下具体实施方式、附图和权利要求，其它方面、特征和各种优点将变得显而易见。
附图说明
图1图示了光电模块的示例。
图2A和2B图示了表示具有第一调制频率(图2A)和第二调制频率(图2B)的光的曲线图。
图3是确定深度/距离值的方法的流程图。
具体实施方式
图1图示了光电模块100的示例，该光电模块100包括光发射通道102和光检测通道104。光发射器106和光电深度相机108安装在形成模块壳体的底侧的印刷电路板(PCB)或其它基板110上。光发射器可操作为以不同调制频率发射光。在一些实施方式中，光发射器106被实现为激光二极管或垂直腔表面发射激光器(VCSEL)。
在所示的示例中，间隔件114附接到PCB 110的第一侧并将PCB 110与光学构件116分离。间隔件114的内壁115可以在模块的两个腔室(即，光发射腔室(通道)102和光检测腔室(通道)104)之间提供光学隔离。光学构件116可以包括用于每个通道102、104的一个或多个相应无源光学元件(例如，透镜)120A、120B。来自发射器106的光被引导出模块100，并且，如果被对象朝着模块的检测通道104反射回去，那么可以由深度相机108感测。
深度相机108包括空间分布的光敏元件(例如，像素)的阵列(包括有源解调检测像素124)，并且还可以包括逻辑和其它电子器件以读取和处理像素信号。像素和其它电路可以例如在集成半导体芯片中实现(例如，作为CCD或CMOS传感器)。虽然解调检测像素124的数量和布置可以根据实施方式而变化，但是在一些实施方式中，解调检测像素被布置为M×N阵列。
深度相机108可以例如作为使用单光子同步检测(single-photon synchronousdetection，SPSD)的间接飞行时间(indirect time-of-flight，iTOF)传感器可操作。像素124可操作以感测由发射器106发射的光的(一个或多个)波长的光。在SPSD中，场景以正弦或伪正弦光强度被照亮。到场景中某个点的距离d可以被估计为：
d＝(c*φ)/(2*2π*f)
其中c是真空中的光速、f是调制频率，并且φ是出射光信号与测量的信号之间的测量的相位差。通过以结构化方式对光子进行计数，可以直接计算相位φ。在其它实施方式中，深度相机可以被实现为例如雪崩检测器。
发射器106和深度相机108可以例如通过导电垫或引线键合电连接到PCB 110。PCB110进而可以电连接到主机设备(例如，智能电话)内的其它组件。
传感器的控制和处理电路(例如，电子控制电路)140可以被实现为例如具有适当的数字逻辑和/或其它硬件组件(例如，读出寄存器；放大器；模数转换器；时钟驱动器；定时逻辑；信号处理电路；和/或微处理器)的一个或多个半导体芯片中的一个或多个集成电路。控制和处理电路140可以与深度相机108驻留在同一半导体芯片中，或者驻留在一个或多个其它半导体芯片中。在一些情况下，控制和处理电路140可以在模块100的外部；例如，控制和处理电路可以被集成到用于其中部署有模块100的主机设备的处理器中。
在一些情况下，模块100被集成到主机设备(例如，智能电话或其它手持计算设备)中，该主机设备包括模块100部署在其下的透射盖(例如，盖玻璃)132。在一些情况下，这种布置会导致产生杂散反射。这种杂散反射可以例如来自盖玻璃132本身或来自盖玻璃132上的污迹(即，模糊的或涂抹的标记，诸如指纹或污垢或其它污染)130。当数据被深度相机108捕获时，收集的数据表示接收到的从模块外部的目标反射的信号与从盖玻璃反射的任何信号(即，盖玻璃本身或盖玻璃上的污迹)的组合。例如，当污染累积在盖玻璃132上时，它可以改变从盖玻璃反射回的信号的强度，从而将误差和不确定性引入到深度测量中。
这个段落和以下段落描述一种用于动态确定来自盖玻璃的反射的强度并中和该反射的强度以改善深度测量的准确性的方法。该方法优选地利用用于捕获深度数据的相同像素124。众所周知，可以有利地使用以多个(例如，两个)不同调制频率获取深度数据来生成无歧义的深度图。本方法使用多个(例如，两个)频率的光调制的深度测量(其也可以被用于深度消歧)，并对信息进行解耦以估计由盖玻璃(即，盖玻璃本身或盖玻璃上的污迹)反射的信号的强度以及由目标对象反射的信号的强度。
本方法至少部分地基于在特定目标对象的测量周期期间获取的幅度测量(amp1，amp2)和相移测量(φ1，φ2)以及例如在特定模块100的工厂校准期间先前获取并存储的相移测量(α1，α2)来估计由盖玻璃反射的信号的强度和由目标对象反射的信号的强度。在这种情况下，分别使用两个不同的光调制频率(f1，f2)进行幅度和相移测量。幅度测量(amp1，amp2)和相移测量(φ1，φ2)表示由目标对象和盖玻璃反射的信号之和，而相移测量(α1，α2)表示由盖玻璃反射的信号。如下面所解释的，前述已知值可以被控制和处理电路140用来估计由盖玻璃反射的信号的强度和/或由目标对象反射的信号的强度。由盖玻璃反射的信号包括由盖玻璃本身反射的信号和由盖玻璃上的污迹反射的信号。
图2A和2B分别图示了具有第一调制频率f1的光(图2A)和具有不同的第二调制频率f2的光(图2B)的曲线图(即，幅度和相位)。具体地，图2A图示了表示由场景中目标对象反射的信号的向量T1、表示由盖玻璃反射的信号的向量CG1，以及表示与由目标对象和盖玻璃反射的信号的组合对应的信号的向量R1。同样，图2B图示了表示由场景中目标对象反射的信号的向量T2、表示由盖玻璃反射的信号的向量CG2，以及表示与由目标对象和盖玻璃反射的信号的组合对应的信号的向量R2。在一些实施方式中，调制频率是100MHz和115MHz。其它调制频率可以适于一些实施方式。优选地，调制频率不是彼此的整数倍。图2A和2B还指示每个信号的相移(即，相对于由发射器106发射的光束的轴线)。因此，在图2A中，由盖玻璃反射的信号的相移为α1，由目标对象反射的信号的相移为β1，并且组合信号的相移为φ1。同样，在图2B中，由盖玻璃反射的信号的相移为α2，由目标对象反射的信号的相移为β2，并且组合信号的相移为φ2。
假设在第一调制频率f1下来自目标对象和盖玻璃的组合信号的幅度为amp1，在第二调制频率f2下来自目标对象和盖玻璃的组合信号的幅度为amp2，由目标对象反射的信号的幅度为b，并且由盖玻璃反射的信号的幅度为a，可以示出：
对于第一调制频率f1：
(amp1)2＝a2+b2+[(2ab*cos(α1–β1)] (1)
[a*sin(φ1–α1)]-[b*sin(β1–φ1)]＝0 (2)
并且对于第二调制频率f2：
(amp2)2＝a2+b2+[(2ab*cos(α2–β2)] (3)
[a*sin(φ2–α2)]-[b*sin(β2–φ2)]＝0 (4)
如上所述，幅度amp1和amp2以及相移φ1和φ2是模块100相对于目标对象在特定测量周期期间获得的测量值。另外，相移测量(α1，α2)是先前存储的值，例如在特定模块100的工厂校准期间获取。
四个未知变量(包括由盖玻璃反射的信号的幅度“a”和由目标反射的信号的幅度“b”)可以从以上四个方程式(1)至(4)确定。可以使用各种技术来估计四个未知变量(a，b，β1，β2)的值。例如，可以使用迭代技术，诸如梯度下降。梯度下降是一种用于寻找函数的最小值的一阶迭代优化算法并且可以被用于求解非线性方程组。因此，可以使用梯度下降来估计非线性方程式(1)至(4)中未知变量的值。
在一些情况下，例如在光发射器106和深度相机108的(一个或多个)光圈上的面积相对小的情况下，针对像素的小子集的估计可以被用于推断针对整个图像(即，针对所有像素)的值。像素的子集可以包括例如像素阵列的角落和中心附近或在像素阵列的角落和中心处的像素。
图3是根据本公开的确定深度/距离值的方法的流程图。如202所指示的，例如，在生产期间对模块100的校准期间，测量由透射盖(例如，盖玻璃)反射的光学信号的相移(α1，α2)，并且相移值被存储在存储器142中(204)。存储器142可以在硬件和/或软件中实现，并且可以是模块本身或主机设备的一部分。将相移值(α1，α2)结合到本技术中可以帮助减少误差扩散并解决半导体材料中的制造差异和/或批次间差异。
在操作中，模块可操作以便以第一和第二调制频率f1、f2相继地朝着目标对象发射光(206)。深度相机108接收并感测由目标对象和/或盖玻璃132反射的光学信号(208)。感测到的信号(各自可以表示由目标对象反射的光学信号和由盖玻璃反射的光学信号的组合)被提供给处理电路140，处理电路140从感测到的信号中获得测量的幅度(amp1，amp2)和相移值(φ1，φ2)，然后估计由盖玻璃反射的信号的幅度“a”和由目标对象反射的信号的幅度“b”(210)。
在一些情况下，由控制和处理电路140估计的幅度值('a，'b')可以提供高度准确的数据，并且可以被用于修改主机设备的各种组件或触发其它动作。通过提供比一些先前技术中更准确的深度数据，本公开可以帮助改善主机设备的功能。例如，(一个或多个)深度值可以被用于接近度感测以确定是否调整主机设备的显示屏的亮度(例如，当用户将智能电话放在耳朵旁以进行语音呼叫时降低亮度)。类似地，如果来自盖玻璃132的反射的值指示盖玻璃132上可能存在污迹，那么控制和处理电路140可以使得经由主机设备向用户提供可视或可听警报。警报可以向用户指示应当清洁盖玻璃以去除其表面上的污染。
如上所述，可以关于其使用此处描述的技术的主机设备的示例是智能电话。但是，这些技术也可以与其它主机设备(例如，个人数字助理(PDA)、笔记本电脑、平板电脑、可穿戴设备、生物设备、移动机器人、监控相机、便携式相机和增强现实护目镜，等等)结合使用。
本说明书中描述的主题和功能操作的各个方面可以在数字电子电路中或在计算机软件、固件或硬件中实现，包括本说明书中公开的结构及其结构等同物或其中一个或多个的组合。本说明书中描述的主题的一些特征可以被实现为一个或多个计算机程序产品，即，在计算机可读介质上编码的计算机程序指令的一个或多个模块，以由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质组成或它们中的一个或多个的组合。术语“数据处理装置”和“计算机”涵盖用于处理数据的所有装置、设备和机器，作为示例包括可编程处理器、计算机、或多个处理器或计算机。除了硬件之外，装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们的一个或多个的组合的代码。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言(包括编译或解释语言)编写，并且它可以以任何形式进行部署，包括作为独立程序或作为适合在计算环境中使用的模块、部件、子例程或其它单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保持其它程序或数据的文件的一部分(例如，存储在标记语言文档中的一个或多个脚本)中、专用于所讨论的程序的单个文件中，或多个协调的文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。可以将计算机程序部署为在位于一个站点或分布在多个站点并通过通信网络互连的一个计算机或多个计算机上执行。
本说明书中描述的处理和逻辑流程可以由执行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行功能的一个或多个可编程处理器来执行。处理和逻辑流程也可以由专用逻辑电路执行，并且装置也可以被实现为专用逻辑电路，专用逻辑电路例如是FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
适合于执行计算机程序的处理器作为示例包括通用微处理器和专用微处理器两者，以及任何种类的数字计算机的任何一个或多个处理器。一般而言，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。一般而言，计算机还将包括，或可操作地耦合以从其接收数据或向其传输数据或进行这两者的一个或多个用于存储数据的大容量存储设备，例如，磁、磁光盘或光盘。但是，计算机不必具有此类设备。而且，计算机可以被嵌入在另一个设备中，例如，智能电话、个人数字助理(PDA)、移动音频播放器、全球定位系统(GPS)接收器，这仅举几例。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，作为示例包括半导体存储器设备，例如，EPROM、EEPROM和闪存设备；磁盘，例如，内部硬盘或可移动盘；磁光盘；以及CD ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充或并入其中。
已经描述了许多实施方式。不过，在不脱离本发明的精神的情况下，可以做出各种修改。因而，其它实施方式在权利要求的范围内。
Claims (25)
1.一种方法，包括：
以第一调制频率从模块发射光并且以第二调制频率发射光，所述光通过透射盖朝着目标发射；
响应于以所述第一调制频率发射的光而测量表示由所述目标反射的光学信号和由所述透射盖反射的光学信号的组合的第一幅度和相移值；
响应于以所述第二调制频率发射的光而测量表示由所述目标反射的光学信号和由所述透射盖反射的光学信号的组合的第二幅度和相移值；并且
使用处理电路估计由所述透射盖反射的光学信号的幅度和由所述透射盖反射的光学信号的幅度，其中所述估计至少部分地基于测量的第一及第二幅度和相移值并且基于在所述模块的校准期间获得的相移值。
2.如权利要求1所述的方法，其中在所述模块的校准期间获得的所述相移值分别表示由所述透射盖反射的光学信号的相移值和由目标反射的光学信号的相移值。
3.如权利要求1-2中的任一项所述的方法，其中由所述透射盖反射的光学信号中的每一个包括由所述透射盖本身反射的光学信号或由所述透射盖上的污迹反射的光学信号中的至少一个。
4.如权利要求1-3中的任一项所述的方法，其中估计包括针对四个未知变量的值求解四个非线性方程式。
5.如权利要求4所述的方法，其中估计包括使用迭代过程。
6.如权利要求4所述的方法，其中估计包括使用梯度下降。
7.如权利要求1-6中的任一项所述的方法，还包括响应于估计的值中的一个或多个而调整其中部署有所述模块的主机设备的特性。
8.如权利要求1-6中的任一项所述的方法，还包括响应于估计的值中的一个或多个而调整显示屏的亮度。
9.如权利要求1-6中的任一项所述的方法，还包括：
基于由所述透射盖反射的所述光学信号的所述幅度的估计的值，确定所述透射盖上可能有污迹，并且
响应于确定所述透射盖上可能有污迹，使得生成警报。
10.如权利要求9所述的方法，其中所述警报指示所述透射盖应当被清洁以去除其表面上的污染。
11.一种装置，包括：
透射盖；
存储器，其存储校准阶段相移值；
光发射器，其能够操作以便以第一调制频率从模块发射光并且能够操作以便以第二调制频率发射光，所述光通过所述透射盖朝着目标发射；
深度相机，其能够操作以响应于以所述第一调制频率发射的光而测量表示由所述目标反射的光学信号和由所述透射盖反射的光学信号的组合的第一幅度和相移值，深度相机还能够操作以响应于以所述第二调制频率发射的光而测量表示由所述目标反射的光学信号和由所述透射盖反射的光学信号的组合的第二幅度和相移值；以及
处理电路，其能够操作以估计由所述透射盖反射的光学信号的幅度和由所述透射盖反射的光学信号的幅度，所述估计至少部分地基于测量的第一及第二幅度和相移值并且基于校准阶段相移值。
12.如权利要求11所述的装置，其中所述校准阶段相移值分别表示由所述透射盖反射的光学信号的相移值和由目标反射的光学信号的相移值。
13.如权利要求11至12中的任一项所述的装置，其中由所述透射盖反射的光学信号中的每一个包括由所述透射盖本身反射的光学信号或由所述透射盖上的污迹反射的光学信号中的至少一个。
14.如权利要求11至13中的任一项所述的装置，其中所述处理电路能够操作以通过针对四个未知变量的值求解四个非线性方程式来执行估计。
15.如权利要求14所述的装置，其中处理电路能够操作以使用迭代过程来执行估计。
16.如权利要求14所述的装置，其中处理电路能够操作以使用梯度下降来执行估计。
17.如权利要求11-16中的任一项所述的装置，还包括控制电路，所述控制电路能够操作以响应于估计的值中的一个或多个而调整其中部署有所述模块的主机设备的特性。
18.如权利要求11-16中的任一项所述的装置，还包括控制电路，所述控制电路能够操作以响应于估计的值中的一个或多个而调整显示屏的亮度。
19.如权利要求11至16中的任一项所述的装置，还包括处理和控制电路，所述处理和控制电路能够操作以基于由所述透射盖反射的所述光学信号的所述幅度的估计的值来确定所述透射盖上可能有污迹，并且响应于确定所述透射盖上可能有污迹而使得生成警报。
20.如权利要求19所述的装置，其中所述警报指示所述透射盖应当被清洁以去除其表面上的污染。
21.一种装置，包括：
主机设备；
透射盖；
存储器，其存储校准阶段相移值；
处理电路；以及
光电模块，其集成在主机设备中，所述光电模块包括：
光发射器，其能够操作以便以第一调制频率从模块发射光并且能够操作以便以第二调制频率发射光，所述光通过所述透射盖朝着目标发射；以及
深度相机，其能够操作以响应于以所述第一调制频率发射的光而测量表示由所述目标反射的光学信号和由所述透射盖反射的光学信号的组合的第一幅度和相移值，深度相机还能够操作以响应于以所述第二调制频率发射的光而测量表示由所述目标反射的光学信号和由所述透射盖反射的光学信号的组合的第二幅度和相移值；
其中所述处理电路能够操作以估计由所述透射盖反射的光学信号的幅度和由所述透射盖反射的光学信号的幅度，所述估计至少部分地基于测量的第一及第二幅度和相移值并且基于所述校准阶段相移值。
22.如权利要求21所述的装置，其中所述校准阶段相移值分别表示由所述透射盖反射的光学信号的相移值和由目标反射的光学信号的相移值。
23.如权利要求21-22中的任一项所述的装置，其中由所述透射盖反射的光学信号中的每一个包括由所述透射盖本身反射的光学信号或由所述透射盖上的污迹反射的光学信号中的至少一个。
24.如权利要求21-23中的任一项所述的装置，其中所述处理电路能够操作以使用迭代过程来执行估计。
25.如权利要求24所述的装置，其中所述处理电路能够操作以使用梯度下降来执行估计。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862768273P | 2018-11-16 | 2018-11-16 | |
| US62/768,273 | 2018-11-16 | ||
| PCT/SG2019/050560 WO2020101576A1 (en) | 2018-11-16 | 2019-11-13 | Depth sensing using optical time-of-flight techniques through a transmissive cover |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113039457A true CN113039457A (zh) | 2021-06-25 |
Family
ID=68733590
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980075120.9A Pending CN113039457A (zh) | 2018-11-16 | 2019-11-13 | 通过透射盖使用光学飞行时间技术进行深度感测 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20210405158A1 (zh) |
| CN (1) | CN113039457A (zh) |
| DE (1) | DE112019005749T5 (zh) |
| WO (1) | WO2020101576A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115980718A (zh) * | 2023-03-06 | 2023-04-18 | 北醒（北京）光子科技有限公司 | 镜头脏污检测方法、装置、电子设备及可读存储介质 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10620300B2 (en) | 2015-08-20 | 2020-04-14 | Apple Inc. | SPAD array with gated histogram construction |
| EP3646057A1 (en) | 2017-06-29 | 2020-05-06 | Apple Inc. | Time-of-flight depth mapping with parallax compensation |
| US10955552B2 (en) | 2017-09-27 | 2021-03-23 | Apple Inc. | Waveform design for a LiDAR system with closely-spaced pulses |
| US10908383B1 (en) | 2017-11-19 | 2021-02-02 | Apple Inc. | Local control loop for projection system focus adjustment |
| EP3704510B1 (en) | 2017-12-18 | 2022-10-05 | Apple Inc. | Time-of-flight sensing using an addressable array of emitters |
| CN113330328B (zh) | 2019-02-11 | 2024-06-14 | 苹果公司 | 深度感测方法及装置 |
| US11500094B2 (en) | 2019-06-10 | 2022-11-15 | Apple Inc. | Selection of pulse repetition intervals for sensing time of flight |
| US11555900B1 (en) | 2019-07-17 | 2023-01-17 | Apple Inc. | LiDAR system with enhanced area coverage |
| US11733359B2 (en) | 2019-12-03 | 2023-08-22 | Apple Inc. | Configurable array of single-photon detectors |
| US12196860B2 (en) | 2021-03-02 | 2025-01-14 | Apple Inc. | Depth sensor calibration using internal reflections |
| FR3121205B1 (fr) * | 2021-03-29 | 2023-05-05 | St Microelectronics Sa | Estimation d’un décalage de distance dans un dispositif de mesure indirecte par temps de vol, et dispositif correspondant |
| US11681028B2 (en) | 2021-07-18 | 2023-06-20 | Apple Inc. | Close-range measurement of time of flight using parallax shift |
| EP4386431A1 (en) * | 2022-12-15 | 2024-06-19 | Mettler-Toledo GmbH | Method for diagnosing erroneous distance measurement of a laser rangefinder unit, laser rangefinder unit and computer program |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103998949A (zh) * | 2012-01-10 | 2014-08-20 | 索弗特凯耐提克传感器股份有限公司 | 对飞行时间信号处理的改进或与之相关的改进 |
| US20160124089A1 (en) * | 2014-10-31 | 2016-05-05 | Cedes Safety & Automation Ag | Absolute distance measurement for time-of-flight sensors |
| CN106104297A (zh) * | 2014-03-14 | 2016-11-09 | 赫普塔冈微光有限公司 | 可操作以识别虚假反射并补偿由虚假反射导致的误差的光电模块 |
| US20170234985A1 (en) * | 2016-02-11 | 2017-08-17 | Massachusetts Institute Of Technology | Methods and Apparatus for Time-of-Flight Imaging |
| US20180059246A1 (en) * | 2016-08-29 | 2018-03-01 | Heptagon Micro Optics Pte. Ltd. | Optoelectronic modules for distance measurements and supplemental measurements |
| US20180059218A1 (en) * | 2016-08-29 | 2018-03-01 | Heptagon Micro Optics Pte. Ltd. | Time of flight-based systems operable for ambient light and distance or proximity measurements |
| US20180106891A1 (en) * | 2016-10-19 | 2018-04-19 | Infineon Technologies Ag | 3di sensor depth calibration concept using difference frequency approach |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130129358A (ko) * | 2010-07-29 | 2013-11-28 | 와이카토링크 리미티드 | 물체들의 거리 특성 및/또는 강도 특성을 측정하는 장치 및 방법 |
| US10192147B2 (en) * | 2016-08-30 | 2019-01-29 | Microsoft Technology Licensing, Llc | Foreign substance detection in a depth sensing system |
| US10408940B2 (en) * | 2016-09-25 | 2019-09-10 | James Thomas O'Keeffe | Remote lidar with coherent fiber optic image bundle |
-
2019
- 2019-11-13 WO PCT/SG2019/050560 patent/WO2020101576A1/en active Application Filing
- 2019-11-13 CN CN201980075120.9A patent/CN113039457A/zh active Pending
- 2019-11-13 DE DE112019005749.9T patent/DE112019005749T5/de active Pending
- 2019-11-13 US US17/290,808 patent/US20210405158A1/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103998949A (zh) * | 2012-01-10 | 2014-08-20 | 索弗特凯耐提克传感器股份有限公司 | 对飞行时间信号处理的改进或与之相关的改进 |
| CN106104297A (zh) * | 2014-03-14 | 2016-11-09 | 赫普塔冈微光有限公司 | 可操作以识别虚假反射并补偿由虚假反射导致的误差的光电模块 |
| US20160124089A1 (en) * | 2014-10-31 | 2016-05-05 | Cedes Safety & Automation Ag | Absolute distance measurement for time-of-flight sensors |
| US20170234985A1 (en) * | 2016-02-11 | 2017-08-17 | Massachusetts Institute Of Technology | Methods and Apparatus for Time-of-Flight Imaging |
| US20180059246A1 (en) * | 2016-08-29 | 2018-03-01 | Heptagon Micro Optics Pte. Ltd. | Optoelectronic modules for distance measurements and supplemental measurements |
| US20180059218A1 (en) * | 2016-08-29 | 2018-03-01 | Heptagon Micro Optics Pte. Ltd. | Time of flight-based systems operable for ambient light and distance or proximity measurements |
| US20180106891A1 (en) * | 2016-10-19 | 2018-04-19 | Infineon Technologies Ag | 3di sensor depth calibration concept using difference frequency approach |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115980718A (zh) * | 2023-03-06 | 2023-04-18 | 北醒（北京）光子科技有限公司 | 镜头脏污检测方法、装置、电子设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210405158A1 (en) | 2021-12-30 |
| WO2020101576A1 (en) | 2020-05-22 |
| DE112019005749T5 (de) | 2021-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210405158A1 (en) | Depth sensing using optical time-of-flight techniques through a transmissive cover | |
| US11543505B2 (en) | Optoelectronic modules operable to recognize spurious reflections and to compensate for errors caused by spurious reflections | |
| US10295657B2 (en) | Time of flight-based systems operable for ambient light and distance or proximity measurements | |
| CN106911888B (zh) | 一种装置 | |
| CN103998949B (zh) | 对飞行时间信号处理的改进或与之相关的改进 | |
| KR102134688B1 (ko) | 광학 거리 측정 방법 및 광학 거리 측정 장치 | |
| US10466355B2 (en) | Optoelectronic modules for distance measurements and supplemental measurements | |
| TW201539012A (zh) | 光學成像模組及包含飛行時間感測器之光學偵測模組 | |
| WO2016076796A1 (en) | Optoelectronic modules for distance measurements and/or multi-dimensional imaging | |
| JP2019215260A (ja) | 精度情報を出力する測距装置 | |
| EP3721261B1 (en) | Distance time-of-flight modules | |
| US20210341609A1 (en) | High resolution time-of-flight measurements | |
| CN112105944B (zh) | 具有使用短脉冲和长脉冲的多模式操作的光学测距系统 | |
| US20120133617A1 (en) | Application using a single photon avalanche diode (spad) | |
| RU2468383C1 (ru) | Способ определения взаимного положения объектов | |
| JP7149505B2 (ja) | 測距方法、測距装置、及び、プログラム | |
| US20210270946A1 (en) | Time-of-flight measurement with background light correction | |
| CN110307785B (zh) | 基于记忆效应的光斑位置精准定位的方法、装置及系统 | |
| CN112986961A (zh) | 一种发射模组、电子设备及距离测量方法 | |
| WO2020240302A1 (en) | High spatial resolution solid-state image sensor with distributed photomultiplier |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Singapore, Singapore City Applicant after: Ames Osram Asia Pacific Pte. Ltd. Address before: Singapore, Singapore City Applicant before: AMS sensors Singapore Pte. Ltd. |