CN114200466A - 畸变确定装置和确定畸变的方法 - Google Patents

畸变确定装置和确定畸变的方法 Download PDF

Info

Publication number
CN114200466A
CN114200466A CN202110983419.3A CN202110983419A CN114200466A CN 114200466 A CN114200466 A CN 114200466A CN 202110983419 A CN202110983419 A CN 202110983419A CN 114200466 A CN114200466 A CN 114200466A
Authority
CN
China
Prior art keywords
amplitude
saturation
motion
measurement
signal processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110983419.3A
Other languages
English (en)
Inventor
A·奥特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Melexis Technologies NV
Original Assignee
Melexis Technologies NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Melexis Technologies NV filed Critical Melexis Technologies NV
Publication of CN114200466A publication Critical patent/CN114200466A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4918—Controlling received signal intensity, gain or exposure of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了畸变确定装置和确定畸变的方法。一种畸变确定装置(100)，包括：光源，配置为发射光；以及光电设备(102)，配置为接收电磁信号并根据间接飞行时间测量技术将该信号转换为对应于多个预定相位偏移值的多个电输出信号。装置(100)的信号处理电路(110、116、126、132、136)，配置为处理电输出信号以计算从多个电信号导出的多个测量向量。该向量是关于多个频率的，并且包括用于基波频率的第一测量向量和用于非基波频率的第二测量向量。该电路(110、116、126、132、136)被配置为计算将第一向量的第一振幅与第二向量的第二振幅相关联的标量，并使用该标量来识别关于光电设备(102)的畸变。

Description

畸变确定装置和确定畸变的方法
技术领域
本发明涉及畸变确定装置，例如采用间接飞行时间测量技术的类型。本发明还涉及一种确定畸变的方法，该方法属于例如采用间接飞行时间测量技术的类型。
背景技术
在所谓的飞行时间感测系统和其他系统(例如游戏控制台视觉系统)中，已知采用照明源来照射在照明源的视场内的周围环境(有时被称为“场景”)，并且处理由该场景的特征反射的光。此类所谓的LiDAR(光检测和测距)系统利用使用照明源产生的光来对场景进行照明，并且使用检测设备(例如光电二极管阵列、一些光学元件、以及处理单元)检测从场景中的对象反射的光。从场景中的对象反射的光被检测设备接收并且被转换成电信号，该电信号随后由处理单元通过应用飞行时间(ToF)计算来处理，以便确定对象距检测设备的距离。虽然已知不同种类的LiDAR系统基于不同的操作原理，但此类系统基本上都对场景进行照明并检测反射光。
在这方面，所谓的“闪光LiDAR”技术(其为直接ToF测距技术)采用发射光脉冲的光源，这些光脉冲随后被场景中的特征反射并且由检测器设备进行检测。在此类技术中，使用针对光脉冲进行去往反射特征并且返回到检测器设备的往返行程测得的时间来直接计算到反射特征的距离。在时域中以非常高的采样率对入射到检测器设备上的光脉冲进行采样。因此，用于实现此类技术的处理电路中的信号路径需要信号的高带宽以及大的硅片空间，即此类实现方式需要硅晶圆上相对大的面积，这进而限制了集成电路上可以支持的通道的数量。因此，此类闪光LiDAR传感器可以支持的通道的实际空间数量通常低于100。为了克服此种限制，需要移动部件来实现机械扫描系统。
另一种已知的LiDAR系统采用所谓的“间接飞行时间”(iToF)测距技术。iTOF系统发射连续波光信号，并且该连续波光信号的反射被检测器设备接收并被分析。从场景特征反射的光的多个样本(例如四个样本)在一个帧周期内被获取，每个样本的相位阶跃例如为90°。使用此种照明和采样方法，可以确定照射和反射之间的相位角，并且可以使用所确定的相位角来确定到场景的反射特征的距离。
在iToF系统中，高频信号处理(解调)发生在像素级，且因此在同一芯片上集成大量像素所需的像素后信号带宽较低。结果，与直接ToF系统相比，iToF系统可以支持更大量的通道，且因此支持更高的空间分辨率测量。
然而，iToF系统对场景中物体在测量帧周期内的运动非常敏感，这可能导致在捕获的图像中产生所谓的“运动伪影”。对于使用四相位方案和20MHz调制频率以每秒50帧的速率进行测量的iToF系统，以3.75ms-1移动的物体达到1％的误差预算以用于明确的距离计算。当对象沿与场景横向的方向移动时，测量的飞行时间以及因此的距离可能因测量帧内两个连续相位偏移之间发生的移动而变化。因此，当物体在场景背景前1米时，上述指定的iToF系统可以测量200ms-1的物体速度。这种速度会产生运动伪影，特别是在横向移动到iToF相机的物体边缘处。
尽管可以通过将一个帧周期的每个像素的相位角或计算距离与前一个帧周期的相位或计算距离进行比较来执行运动检测，但是需要帧缓冲器。此外，由于需要比较两个连续帧周期的测量结果，这样的过程引入延迟。
美国专利第9785824号描述了一种iToF，该iToF采用具有偶数占空比的照明信号，并使用对接收信号的偶次谐波的分析来识别运动。将至少一个偶次谐波频率单元与阈值进行比较，以便检测运动伪影。然而，当采用0.5占空比以外的占空比时，偶次谐波单元的水平升高，无论水平变化是否由运动伪影引起。在这方面，限制使用脉宽对称波形是不可取的，因为某些应用需要脉宽不对称波形。例如，美国专利公开第2017/205497号描述了一种通过使用脉冲宽度不对称波形来抑制iToF系统中的奇次谐波(如五次谐波)的技术，以减少圆误差的发生。然而，这种技术将额外的功率引入到偶次谐波中。因此，当采用脉冲宽度不对称波形时，使用US 9785824的技术无法轻松确定运动伪影。US 2012/013887 A1涉及一种iToF系统，该系统采用奇数个相位偏移值以减轻所谓的摆动效应。
iToF系统遭受的另一种畸变形式是饱和，其在反射光强度处于iToF系统可用动态距离的上限时发生。强接收信号的谐波混叠回期望信号(对应于基频)，功率增加导致提取相位角的计算误差，从而导致计算距离误差。
发明内容
根据本发明的第一方面，提供了一种运动或饱和确定装置，包括：光源，被配置为根据间接飞行时间测量技术发射光；光电设备，被配置为接收电磁信号并根据间接飞行时间测量技术将电磁信号转换为多个电输出信号，该多个电输出信号分别对应于施加在帧周期内的多个预定相位偏移值，该光电设备还被配置为存储多个电磁信号中的每一个；信号处理电路，被配置为根据间接飞行时间测量技术来处理多个电输出信号，以便计算基本平行的多个测量向量，该多个测量向量从帧周期内生成的多个电输出信号导出，并且该多个测量向量分别与多个频率相关，并且包括与基波频率相关的第一测量向量和与非基波频率相关的第二测量向量；其中该信号处理电路还被配置为计算将该第一测量向量的第一振幅与第二测量向量的第二振幅相关联的标量，并使用该标量来识别光电设备在帧周期内的运动或饱和
畸变可通过参考畸变确定阈值来识别。
该信号处理电路可被配置为计算第二测量向量的经补偿第二振幅；经补偿第二振幅的计算可包括将标量应用于第一测量向量的第一振幅。
该信号处理电路可以进一步被配置为从第二振幅中减去经缩放的第一振幅。
该信号处理电路可被配置为计算第二测量向量的经补偿第二振幅；经补偿第二振幅的计算可包括将标量应用于第二测量向量的第二振幅并进行减法；并且信号处理电路可以进一步配置为从经缩放的第二振幅中减去第一振幅。
该信号处理电路可被配置为估计关于光电设备的真实接收强度；真实接收强度的估计可包括将标量的倒数应用于第二测量向量的第二振幅。
根据本发明的第二方面，提供了一种运动检测设备，包括：如上所述的关于本发明第一方面的运动或饱和确定装置；其中，非基波谐波频率为偶次谐波频率；信号处理电路被配置为计算减法结果的绝对值，并将绝对值与畸变确定阈值进行比较。
畸变确定阈值可以是预定的运动阈值。
运动检测设备可以进一步包括信号处理电路，被配置为生成检测到的运动掩模。
根据本发明的第三方面，提供了一种饱和检测设备，包括：如上所述的关于本发明第一方面的运动或饱和确定装置；其中，信号处理电路被配置为将减法的结果与畸变确定阈值进行比较。
畸变确定阈值可以是预定的饱和阈值。
运动检测设备还可以包括信号处理电路，被配置为生成检测到的饱和掩模。
光电设备可具有与其相关联的饱和极限；并且信号处理电路可以被配置为通过计算第二振幅和光电设备的饱和极限之间的可用净空来计算构成畸变确定阈值的饱和阈值。
根据本发明的第四方面，提供了一种饱和检测设备，包括：如上所述的关于本发明第一方面的运动或饱和确定装置；其中光电设备具有与其相关联的饱和极限；并且信号处理电路被配置为计算该饱和极限与所计算的真实接收强度之间的差。
畸变确定阈值可以是预定的饱和阈值；并且信号处理电路可以被配置为将计算出的差值与预定饱和阈值进行比较。
根据本发明的第五方面，提供了一种饱和检测设备，包括：如上所述的关于本发明第一方面的运动或饱和确定装置；其中，信号处理电路被配置为估计关于光电设备的真实接收强度，该真实接收强度的估计包括将标量的倒数应用于第二测量向量的第二振幅；光电设备具有与其相关联的饱和极限；并且信号处理电路被配置为计算第一测量向量的第一振幅与计算的真实接收强度之间的差，从而提供饱和的测量。
该装置可进一步包括用于识别饱和的预定饱和阈值；并且信号处理电路可以被配置为将计算出的差值与预定饱和阈值进行比较。
饱和检测设备可进一步包括信号处理电路，被配置为生成检测到的饱和掩模。
根据本发明的第六方面，提供了一种成像系统，包括：光电设备阵列，包括光电设备；如上所述的关于本发明第四方面的饱和检测设备，该饱和检测设备被配置为检测关于光电设备阵列的每个光电设备的饱和；其中信号处理电路被配置为使用光电设备阵列执行第一图像捕获；信号处理电路被配置为统计地分析在饱和阈值限值和关于光电设备阵列的真实接收强度之间计算的差，并且识别光电设备阵列中经历关于第一图像捕获的饱和的区域。信号处理电路被配置为修改与第一图像捕获相关联的性能参数，并执行实现修改后的性能参数的第二图像捕获。
信号处理电路可被配置为将来自第一图像捕获的有关光电射别阵列中经历饱和的区域的第一多个测量替换为来自第二图像捕获的有关光电射别阵列中的所识别区域的第二多个测量。
该装置可以进一步包括信号发生器，被配置为生成具有非对称脉冲宽度占空比的载波信号。该光源可被配置为使用载波信号发射光。信号处理电路可以被配置为根据使用载波信号的间接飞行时间测量技术来处理多个电输出信号。
根据本发明的第七方面，提供了一种测距系统，其包括如上文关于本发明的第一方面所述的运动或饱和确定装置，其中，信号处理电路进一步配置为测量所述第二测量向量的相位角，并使用所测量的相位角计算距离。
根据本发明的第八方面，提供了一种确定用于间接飞行距离时间测量装置的光电设备的运动或饱和的方法，该方法包括：根据间接飞行时间测量技术发射光；响应于接收到的光信号并分别对应于应用在根据间接飞行时间测量技术的帧周期内的多个预定相位偏移值，生成和存储多个电输出信号；根据间接飞行时间测量技术处理所述多个电输出信号，以便计算基本平行的并且从在帧周期内生成的多个电输出信号导出的多个测量向量，该多个测量向量分别与多个频率相关，并且包括与基波频率相关的第一测量向量和与非基波频率相关的第二测量向量；以及计算将第一测量向量的第一振幅与第二测量向量的第二振幅相关联的标量；以及使用该标量识别光电设备在帧周期内的运动或饱和。
因此，可以提供一种装置和方法，其提供改进的运动和/或饱和检测，无论照射信号的瞬态占空比。该装置和方法以改进的速度检测运动并避免使用帧缓冲器。因此，可以在单个帧周期内检测运动伪影，无论进行的测量中是否存在偶次谐波。在饱和的情况下，因此可以改善测量动态距离并增强图像质量。
附图说明
参考所附附图，现在将仅通过示例的方式来描述本发明的至少一个实施例，在附图中：
图1是包括构成本发明实施例的畸变确定装置的间接飞行距离时间计算装置的示意图；
图2是图1的装置的运动检测单元的示意图；
图3是包括检测构成本发明另一实施例的畸变的距离计算方法的流程图；
图4是图3的流程图的运动的检测方法和图2的运动检测单元执行该方法的流程图；
图5(a)至图5(c)是与图3和图4的方法相关的使用例的图；
图6是包括移动的对象并被包括图1的装置的成像系统关于基频信号捕获的样本图像；
图7是图6的移动对象的被图1的成像系统关于二次谐波频率信号捕获的另一样本图像；
图8是使用来自图6的样本图像和图7的样本图像的图像数据生成的样本补偿图像；
图9是从图8的样本补偿图像生成的掩模；并且
图10是构成本发明另一实施例的另一畸变确定单元的示意图；
图11是由图10的畸变确定单元检测单元执行的检测饱和的方法的流程图；
图12(a)到图12(c)是与图11的方法相关的使用例的图；
图13是包括移动的第一对象和导致饱和的第二对象的样本图像，该样本图像被包括图10的装置的成像系统关于基频信号而捕获；
图14是图13的移动且饱和的对象的被包括图10的成像系统关于二次谐波频率捕获的样本图像；
图15是使用来自图13的样本图像和图14的样本图像的图像数据生成的样本补偿图像；
图16是从图15的样本补偿图像生成的运动掩模；
图17是从图16的运动掩模生成的饱和掩模；
图18是从图17的饱和掩模生成的另一个运动掩模；
图19是构成图1的畸变确定装置的另一饱和检测单元的示意图；
图20是构成本发明另一实施例的另一饱和检测方法的流程图；
图21(a)到图21(c)是关于图20的方法的使用例的图；
图22是构成图1的畸变确定装置的另一饱和检测单元的示意图；
图23是构成本发明另一实施例的另一饱和检测方法的流程图；
图24(a)至图24(c)是关于图23的方法的使用例的图；以及
图25是使用图23的方法生成深度图的方法的流程图。
具体实施方式
贯穿以下描述，相同的附图标记将用于标识相同的部分。
参考图1，间接飞行时间距离计算系统包括电磁辐射源(未示出)，例如构成光源的激光二极管(LD)或发光二极管(LED)。在该示例中，电磁辐射源是根据间接飞行时间测量技术进行振幅调制以便作为连续波光信号发射的红外光。该系统的距离计算装置包括畸变确定装置100。畸变确定装置100包括光接收器光子混合器像素设备102，光接收器光子混合器像素设备102包括光电二极管104，光电二极管104具有可操作地耦合到地电位的阳极和耦合到光子混合器106的第一输入的阴极，光子混合器106的输出耦合到积分器108的输入。在该示例中，为了描述的简洁和清晰起见，描述单个光子混合器像素设备102。然而，本领域技术人员将理解，畸变确定装置100包括上述种类的光子混合器像素装置102的阵列。此外，本文描述的光子混合器像素设备的使用是合适的设备结构的示例，并且本领域技术人员应当理解，可以采用任何合适的光电子设备。在这方面，合适的光电子设备可以将接收到的光信号从光域转换到电域，选择在电控时间段内(例如通过混合信号)产生的电荷，并累积所选择的电荷。这些操作可以由单个单片设备执行，也可以由单独连接的设备执行。
相位信号发生器112被配置为生成具有非对称脉冲宽度占空比的载波信号的连续波电信号。连续波信号的相位偏移可通过控制输入114选择，连续波信号的相位可从m个相位偏移的集合中选择：[θ0,θ1,…,θm-1]相位信号发生器112的输出被耦合到光子混合器106的第二输入。
积分器108的输出耦合到数字傅里叶变换(DFT)单元110的输入。在这方面，相位角测量被串行地传送到DFT单元110，从而减少畸变确定装置100的存储器需求-DFT单元110包括内部缓冲器(未示出)，以支持来自积分器108的测量的串行传输。为了支持该布置，DFT单元110可操作地耦合到时序控制单元116以保持数据处理的同步。
时序控制单元116具有同步输出118，该同步输出118可操作地耦合到DFT单元110的时序输入120。时序控制单元116的控制输出122耦合到相位信号发生器112的控制输入114。
DFT单元110具有多个数字同相(I)/正交(Q)输出124。在该示例中，DFT单元110包括与测得的信号的不同谐波相对应的b对数字I/Q输出。由于积分器108的输出是累积的电荷，并且因此在该示例中，在模拟域中，积分器108的输出需要被转换到数字域。这可以例如通过采用光子计数器代替光子混合器设备102和积分器108或者在DFT单元110之前提供模数转换器来实现。
多个数字I/Q输出124的第一对I/Q输出与接收到的反射光信号的一次谐波或基频有关，耦合到相位角计算单元，例如笛卡尔－极坐标系转换器126。在该示例中，笛卡尔－极坐标系转换器126包括关于相位角的反正切单元和第一振幅计算单元，诸如欧几里德范数或所谓的出租车范数计算单元。笛卡尔－极坐标系转换器126包括可操作地耦合到反正切单元的相位角输出128和可操作地耦合到第一振幅计算单元的振幅输出130。
多个数字I/Q输出124中与高阶偶次谐波频率信号(例如二阶谐波)相关的第二对I/Q输出耦合到第二振幅计算单元132的输入，例如欧几里德范数或所谓的出租车范数计算单元。第二振幅计算单元132的输出耦合到畸变确定单元136的第一输入134，畸变确定单元136的第二输入138耦合到笛卡尔－极坐标系转换器126的振幅输出130。畸变确定单元136的第三输入140是被配置为接收畸变确定阈值的运动阈值输入，在该示例中，畸变确定阈值是运动阈值Cm。畸变阈值，在此示例中为运动阈值Cm，可以预先确定并应用于一个或多个光子混合器像素设备，例如所有光子混合器像素设备。在一些示例中，运动阈值Cm可以在使用系统期间重新计算，例如通过更高级别的处理(未示出)。在这方面，系统参数(例如积分时间和照明功率)可能在系统操作期间改变，因此需要重新计算，重新计算可以基于这些参数。本领域技术人员还应当理解，其他因素影响运动阈值Cm的计算，从而影响其重新计算，例如动态距离和/或决策可靠性；后者可能需要对运动阈值Cm进行经验调整。为了响应一个或多个测量参数(例如积分时间或照明功率)的修改，可能需要重新计算。畸变阈值可以存储在装置100的数字存储器(未示出)中，并在需要时使用。畸变确定单元136还包括畸变检测输出142，例如运动检测输出。
在该示例中，DFT单元110、笛卡尔－极坐标系转换器126、第二振幅计算单元132和畸变确定单元136构成信号处理电路。
转向图2，构成运动伪影检测装置的畸变确定单元136包括第一求和单元200，第一求和单元200具有耦合到畸变确定单元136的第一输入134的第一输入202。第一求和单元200的第二符号反转输入204耦合到缩放单元206的输出，缩放单元206的输入耦合到畸变确定单元136的第二输入138。第一求和单元200的输出208耦合到绝对值计算器210的输入。绝对值计算器210的输出耦合到第一比较器212的第一输入，第一比较器212的第二输入耦合到畸变确定单元136的第三输入140。第一比较器212的输出耦合到畸变确定单元136的畸变检测输出142。
在操作(图3)中，光源发出照亮(步骤300)场景的连续波光信号。在该示例中，光源使用由相位信号发生器112生成的载波信号。例如场景中的对象反射所发射的光信号。相位信号生成器112生成连续波电信号，时序控制单元116控制循环通过关于电信号相对于连续波光信号的相位偏移的集合。还通过同步输出118将同步信号施加到DFT单元110。
为了检测关于光子混合器像素设备102的畸变，通过将相位信号发生器112生成的电载波信号应用于光子混合器106来计算相位角和振幅，并且电信号的相位偏移循环通过上述相位偏移的集合。存储在积分器108中的关于相位偏移集合的每个相位偏移的电荷的数字表示被测量(步骤302)，并由DFT单元110串联接收并转换(步骤304)为构成复数域中第一I/Q向量V1的第一对I/Q输出、以及构成复数域中的第二I/Q向量V2的第二对I/Q输出。在这方面，积分器108串联地提供多个每相位偏移振幅测量输出，表示关于光子混合器像素设备102的应用相位偏移值的各个积累电荷水平。DFT单元110针对每个帧周期计算分别串联接收的相位分离振幅测量的中间I和Q值，其在帧周期内累积以生成最终I和Q值结果。此类布置的操作包括使用DFT单元110针对每一个传入相位角测量迭代地计算向量。
在将电测量信号转换到频域之后，DFT单元110在其输出处提供基频和二阶谐波频率的I值和Q值。在该示例中，同步信号确保笛卡尔-极坐标转换器126和第二振幅计算单元132同步接收DFT单元110的电流测量帧的基频I/Q输出和二阶谐波I/Q输出。然后，笛卡尔-极坐标转换器126根据间接飞行时间测量技术，计算(步骤306)第一向量V1的角度，该角度构成在根据基频I和Q值的复平面中提取(测量)的计算相位角φmeas。笛卡尔-极坐标转换器126还计算(步骤308)第一向量V1的振幅，该振幅构成在根据基频I和Q值的复平面中的第一提取(测量)的计算振幅a1。
基本上同时，第二振幅计算单元132计算(步骤310)第二向量V2的振幅，该振幅构成在根据谐波频率I和Q值的复平面中的第二提取(测量)的计算振幅a2。
已经发现，在补偿之后，关于源自积分器108的输出的电输出信号的偶次谐波在复数域中的输出向量的振幅的分析在与上述电磁辐射源发射的连续波光信号的占空比无关的场景中提供了畸变的指示，例如运动或饱和。实际上，如下文将进一步详细解释的，对于某些应用，谐波频率信号的使用不限于偶次谐波频率。还应当理解，在一些示例中，0次谐波频率信号可以构成偶次谐波频率信号，并且在一些示例中可以采用。
一般而言，矩形脉冲i次谐波的傅里叶展开系数可写成：
Figure BDA0003229929060000111
使用上面的等式(1)，脉冲基频振幅与高次谐波之间的关系可以写成：
Figure BDA0003229929060000112
考虑到关于偶次谐波的上述关系(2)，例如二阶谐波频率，正弦和余弦三角函数之间的关系可用于将上述表达式(2)改写为：
Figure BDA0003229929060000113
从等式(1)可以看出，当占空比D为0.5时，偶次谐波频率的振幅为0。但是，对于0.5以外的占空比，情况并非如此。就此而言，如上所示，关于光子混合器像素设备102接收的光功率的偶次谐波频率信号的振幅与关于因子βi接收的光功率的基频信号的振幅相关。特别是对于偶次谐波频率信号，因子βi对于非0.5占空比而言非零。然而，该现象用于利用基频信号的振幅的缩放量来补偿偶次谐波频率信号的计算振幅，以便检测畸变。在这方面，缩放因子βi可用于识别关于光子混合器像素装置102的畸变。检测可以通过分析偶次谐波频率信号相对于零值的经补偿振幅ai’来实现，因为如果场景中没有进一步畸变发生或者存在变化(例如，施加在系统的部分或全部硬件上的外力和/或在信号处理中没有畸变)，则偶次谐波频率信号的经补偿振幅ai’为零。就此而言，在从在帧周期期间被突然移入或者移出场景的对象接收到反射光的情况下，光子混合器像素设备102接收的光信号的功率的谐振含量改变，因此经补偿振幅ai’变为非零。经补偿振幅ai'使用以下公式计算：
a′i＝ai-βia1 i∈2N (4)
式中，i是谐波频率的阶数且为偶数，而ai因此是偶次谐波频率信号的振幅。a1是基频信号的振幅。在一个示例中，在使用校准场景进行工厂校准期间，可以预先确定缩放因子βi并将其存储在装置100的数字存储器中。在其他示例中，可在使用期间(例如在装置100通电时)在现场确定缩放因子βi。
参考图4，并额外参考图2和图3，畸变确定单元136在其第二输入138处从笛卡尔-极坐标转换器126接收(步骤400)第一计算振幅a1，并在其第一输入134处从第二振幅计算单元132接收(步骤402)第二计算振幅a2。缩放单元206经由畸变确定单元136的第二输入138接收第一计算振幅a1，并通过缩放因子βi缩放(步骤404)第一计算振幅a1。在当前示例中，其中二次谐波频率信号用于检测畸变，缩放因子为β2。因此，利用关于基频信号的振幅和二阶谐波频率信号的振幅之间的关系的缩放因子β2来缩放第一计算的振幅a1。缩放后的第一计算振幅β2a1随后在第一求和单元200的第二符号反转输入204处接收，第二计算振幅a2经由畸变确定单元136的第一输入134由第一求和单元200接收。
求和单元200然后对第二计算振幅a2和经符号反转的经缩放第一计算振幅β2a1求和(步骤406)。求和(实际上是减法)的结果，即第一求和单元200的输出构成经补偿振幅a2′的计算(步骤312)，并由绝对值计算器210接收，并且计算来自第一求和单元200的输出的绝对值(步骤408)。然后，第一比较器212接收绝对值计算器210的输出，该输出是从第二计算振幅a2减去经缩放的第一计算振幅β2a1后的绝对值。然后，第一比较器212将从绝对值计算器210接收的绝对值的输出与畸变确定单元136经由其第三输入140接收的运动阈值Cm进行比较(图3：步骤314)。在如图4中更详细地显示的这个示例中，第一比较器212将接收到的绝对值与运动阈值Cm进行比较(步骤410)，并且如果绝对值等于运动阈值Cm或大于运动阈值Cm，第一比较器212输出(步骤412)关于光子混合器像素设备102的运动检测信号，例如逻辑高，否则第一比较器212输出(步骤414)例如逻辑低信号，作为运动检测信号。
参考图5(a)，使用占空比D(非0.5，例如0.4)的照明源照亮场景中反射照射光的无生命对象。相位信号发生器112还使用相同的占空比D。反射光由光子混合器像素设备102接收，第一振幅a1和第二振幅a2分别由笛卡尔-极性转换器126和第二振幅计算单元132生成，如上所述，分别关于基频向量V1，以及由DFT单元110输出的二阶谐波向量V2。由于占空比D不是0.5，因此DFT单元110输出的二阶谐波信号即使在场景中没有要检测的运动时也是非零的。使用先前计算的缩放因子，经补偿的第二振幅的绝对值a2'从其未补偿值返回到零，以提供可与阈值进行比较的值，以便检测运动(如果存在)。从场景中的无生命物体，二阶谐波频率信号的第二计算振幅a2减去经缩放的第一计算振幅β2a1，得到零值或基本零值，与上述电磁辐射源发射的连续波光信号的占空比D无关。在该示例中，光子混合器像素设备102不受运动影响，因此第二计算振幅a2保持在其标称值。因此，缩放后的第一个计算振幅β2a1是第二计算振幅a2的预期值，因此减法结果为零。这低于运动阈值Cm，因此将导致未检测到运动的计算。
转到图5(b)，其中光子混合器像素设备102接收的反射光来自场景中的移动对象，假设相同的照明参数，第二计算振幅a2升高到通常与未检测到运动相关联的标称水平之上。因此，由二阶谐波频率信号的经缩放的第二计算振幅a2与第一计算振幅β2a1之差的绝对值形成的经补偿的第二振幅a2'为非零且高于运动阈值Cm，并且这将导致发现光子混合器像素设备102已经受到运动的影响。
参考图5(c)，假设仍然是相同的照明参数，第二计算振幅a2的值并不总是增加，并且在一些实例中，当光子混合器像素设备102受到运动的影响时，第二计算振幅a2的值可能减少。因此，当从第二计算振幅a2中减去缩放后的第一计算振幅β2a1时，结果可能为负值。然而，完成应用于第二计算振幅a2的补偿的绝对值计算将减法的负结果转换为正结果。由于光子混合器像素设备102受到运动的影响，经补偿的第二振幅a2'仍然非零，并且超过运动阈值Cm，因此将导致发现光子混合器像素设备102受到运动的影响。
系统可以使用由第一比较器212生成的输出来识别由包括运动伪影的系统生成的深度图的一个或多个区域。如下文所述，在可行的情况下，这些区域可通过例如修改与深度测量相关的一个或多个参数进行重新测量。
重复上述步骤(步骤300至314和400至414)(步骤316)，直到不再需要生成深度图。
参考图6至图9，可以更好地显示上述处理的效果。在这方面，假设包括畸变确定装置100的间接飞行时间距离计算系统包括与上述处理元件结合使用的必要功能元件，以便生成场景的深度图，例如，包括桌子上的电影放映机的场景，电影放映机具有在生成深度图时旋转的胶片卷盘，深度图以预定帧速率(例如每秒50帧)生成。参考图6，当卷轴移动时，在任意时间点捕获关于由DFT单元110生成的基频信号记录的振幅图。尽管不可见，但振幅图包含可用于支持深度图中运动伪影的识别的信息(未示出)。在此示例中，此类信息可用于使与卷轴运动相关联的运动伪影被检测到，这些伪影在生成深度图时当然在移动。因此，通过接收来自旋转卷轴的反射光的光子混合器像素设备102的深度/距离的测量受到导致关于卷轴的一定程度畸变的运动的影响。
转到图7，所记录的振幅图是关于二阶，即DFT单元110生成的偶次谐波频率信号的，该信号是上述DFT单元110生成的基频信号的对应输出信号。尽管肉眼不容易看到，但使用二阶谐波信号生成的振幅图(图7)具有与场景中的运动部分相关联的更高振幅，例如卷轴辐条的边缘。然而，为了消除由于具有非0.5占空比(即脉冲宽度不对称波形)的照射光对二阶谐波频率信号的影响，光子混合器像素设备102分别生成的二阶谐波频率信号的振幅需要以上述方式进行补偿，从而得到图8的经补偿振幅图。
参考图9，第一比较器212的输出得到图，该图可由系统的信号处理电路布置为检测到的运动掩模，以用于识别图6的深度图受运动影响的位置该运动图可用于上述方式的后续处理，以改善图6深度图的畸变区域。在这方面，系统可以使用掩模来识别错误的深度信息。根据系统应用于处理潜在错误深度像素的策略，系统可选择性地将低置信等级分配给被确定受运动伪影影响的像素和/或移除或补偿丢失或不可靠的深度信息，例如，以上述与照明功率和/或积分时间相关的方式。
参考图10，在另一实施例中，畸变确定单元136被配置为识别与光子混合器像素设备102有关的饱和，因此装置100构成饱和检测设备。在这方面，应当认识到，根据情况和功能，饱和不被认为是仅相对于光子混合器像素设备102或其特定组件发生的现象，并且饱和可由于光接收“链”的其他部分的限制而单独或与链的其他部分组合产生，其包括光子混合器像素设备102。畸变确定单元136在该示例中与关于图2描述的先前示例的不同之处在于没有绝对值计算器210。因此，畸变确定单元136包括第一求和单元200，其第一输入202耦合到畸变确定单元136的第一输入134，第一求和单元200的第二符号反转输入204耦合到缩放单元206的输出。缩放单元206的输入耦合到畸变确定单元136的第二输入138。第一求和单元200的输出208耦合到第一比较器212的第一输入，第一比较器212的第二输入耦合到畸变确定单元136的第三输入140。在这个和进一步的示例中，畸变阈值是饱和阈值Csat，其可以被预先确定并应用于一个或多个光子混合器像素设备，例如所有光子混合器像素设备。例如，积分时间和照明功率可用于计算饱和阈值Csat。然而，本领域技术人员还应当理解，其他因子影响饱和阈值Csat的计算，从而影响其重新计算，例如动态距离和/或决策可靠性；后者可能需要对饱和阈值Csat进行经验调整。在一些示例中，饱和阈值Csat可以在系统使用期间重新计算，例如通过更高级别的处理(未显示)。响应于一个或多个测量参数(例如积分时间或照明功率)的修改，可能需要重新计算。如上所述，畸变阈值可以存储在装置100的数字存储器(未示出)中，并在需要时使用。在本示例中，第一比较器212的输出耦合到用作饱和检测输出的畸变检测输出142。
在操作(图3)中，场景被照亮，反射光由系统的每个光子混合器像素设备102根据间接飞行时间测量技术以每像素为基础进行测量，并且DFT单元110以上述关于先前实施例的方式生成输出向量分量，向量分量与基频和高阶谐波频率有关(步骤300至304)。如上所述，关于基频信号的相位角和振幅由笛卡尔-极坐标转换器126计算，并且关于高阶谐波频率信号的振幅由第二振幅计算单元132计算。在该示例中，笛卡尔－极坐标系转换器126因此在根据基频信号I和Q的复平面中计算第一提取(测量)计算振幅a1，并且第二振幅计算单元132在根据二阶谐波频率I和Q值的复平面中计算第二提取(测量)计算振幅a2(步骤306到310)。参考图11，在接收(步骤400和402)第一和第二计算振幅a1、a2之后，畸变确定单元136计算(步骤404和406)经补偿的第二振幅a2’，该第二振幅a2’是从二阶谐波频率信号的第二计算振幅a2减去缩放后的第一计算振幅β2a1形成的。然后，通过第一比较器212将经补偿的第二振幅a2’与经由畸变确定单元136的第三输入140应用的饱和a值Csat进行比较(步骤416)，以确定经补偿的第二振幅a2’的水平是否等于或超过饱和阈值Csat。在这种情况下，在经补偿的第二振幅a2’等于或超过饱和阈值Csat的情况下，第一比较器212输出(步骤418)关于光子混合器像素设备102的饱和检测信号，例如逻辑高，指示已经检测到饱和。否则，第一比较器212输出(步骤420)例如逻辑低，作为饱和检测信号。
参考图12(a)，使用非0.5的占空比D的照明源照射由普通反射率的物体组成的场景，该物体反射照射光。相位信号发生器112还使用相同的占空比D。反射光由光子混合器像素装置102接收，并且关于基频向量V1和二阶谐波向量V2生成第一振幅a1和第二振幅a2，如上所述，这些分量由DFT单元110输出并分别由笛卡尔-极坐标转换器126和第二振幅计算单元132处理。由于占空比D不是0.5，即波形是脉冲宽度非对称的，因此即使在没有发生关于场景的饱和时，DFT单元110输出的二阶谐波信号也是非零的。使用先前计算的缩放因子，第二振幅a2从其未补偿值返回到零，以提供可与阈值进行比较的值，以便检测饱和(如果存在)。在光子混合器装置102未被从场景中的对象接收到的反射光饱和，即，第一振幅a1低于光子混合器102的饱和极限值Lsat的情况下，二次谐波频率信号的第二计算振幅a2减去经缩放的第一计算振幅β2a1产生与上述电磁辐射源发射的连续波光信号的占空比无关的零值或者基本上零值饱和限制值Lsat可以基于光子混合器设备102和信号处理电路的模拟到数字转换部分的已知限制减去提供净空的余量。在该示例中，光子混合器像素装置102未饱和，因此第二计算振幅a2保持在其标称值。因此，缩放后的第一计算振幅β2a1是第二计算振幅a2的预期值，因此减法产生零的结果。这低于饱和阈值Csat，因此将导致发现未检测到饱和。
转到图12(b)，其中光子混合器像素设备102接收的反射光来自场景中的高反射对象，第一计算的振幅a1达到与光子混合器像素设备102的饱和相对应的饱和极限值Lsat，即光子混合器像素设备102处于饱和状态。第二计算振幅a2因此处于通常与未检测到饱和相关联的标称水平。然而，二阶谐波频率信号的第二计算振幅a2减去缩放的第一计算振幅β2a1而形成的经补偿的第二振幅a2’是通过以缩放的第一计算振幅β2a1的形式应用补偿因子而减小到零或基本为零。在该水平，经补偿的第二振幅a2’低于饱和阈值Csat，因此将导致发现光子混合器像素设备102尚未饱和，因为处于饱和的光子混合器像素设备102在可接受的操作限制内。
参考图12(c)，当场景中的高反射对象使从其反射的照射光将光子混合器像素装置102饱和时，经补偿的第二振幅a2’变为非零并且超过饱和阈值Csat，并且这将导致发现光子混合器像素设备102已经饱和。
以与上述关于运动伪影的检测方式类似的方式，系统可以使用由第一比较器212生成的输出，以便识别由系统生成的深度图的一个或多个受饱和影响的区域。如下文所述，在可行的情况下，这些区域可通过例如修改与深度测量相关的一个或多个参数进行重新测量。
参考图13至图18，可以更好地显示上述处理的效果。在这方面，假设系统包括与上述处理元件结合使用的必要功能元件，以便生成场景的深度图，例如，具有高可见度衣物的桌子上的电影放映机的场景，在本示例中为夹克，放在电影放映机后面。如前一示例中所述，电影放映机具有在生成深度图时旋转的胶片卷轴，深度图以预定帧速率(例如每秒50帧)生成。参考图13，当卷轴移动时，在任意时间点捕获关于由DFT单元110生成的基频信号记录的振幅图。尽管不可见，但振幅图包含可用于支持深度图(未示出)中运动伪影的识别的信息。在本示例中，此类信息可用于使与卷轴运动相关联的运动伪影被检测到，这些伪影在生成深度图时当然在移动。然而，一些像素，特别是关于高可见度夹克的像素是饱和的。因此，由接收来自旋转卷轴和高可见度夹克的反射光的光子混合器像素设备102进行的深度/距离测量分别受到卷轴的运动和夹克的高反射率的影响，从而导致关于卷轴和夹克的畸变。
转到图14，记录的振幅图是关于DFT单元110生成的高阶(例如二次)谐波频率信号的，该信号是DFT单元110生成的基频信号的对应输出信号，如上所述。尽管肉眼不易看到，但使用二阶谐波频率信号生成的振幅图(图14)的振幅水平高于或低于与场景中的移动对象和高反射对象(例如卷轴的辐条边缘和高可见度夹克)相关联的正常预期振幅水平。然而，为了消除由于具有非0.5占空比(即脉冲宽度不对称波形)的照射光对二阶谐波频率信号的影响，光子混合器像素设备102分别生成的二阶谐波信号的振幅需要以上述方式进行补偿，从而得到图15的振幅图。可以看出，与运动或反射相关的补偿振幅图区域具有更大的振幅。实际上，运动检测阈值Cm结合第一比较器212可用于生成运动检测掩模(图16)。在图16中，饱和被错误地检测为场景中的运动。然而，在需要运动检测但不需要对运动进行校正的情况下，作为运动伪影的饱和区域的这种错误检测是没有问题的。此外，使用饱和阈值Csat的饱和掩模和第一比较器212的输出也可以由系统的信号处理电路生成(图17)。
参考图18，由于饱和检测的阈值大于运动检测的阈值，即Csat>Cm，因此可以在图16的运动检测掩模中区分饱和区域和运动区域。在这方面，使用饱和掩模(图17)，可以对运动掩模(图16)进行滤波(例如校正)，以便从运动掩模中排除饱和区域。一种示例滤波技术采用本文所述的运动掩模和本文所述的饱和掩模的布尔组合，例如：运动掩模和(非饱和掩模)，可应用于深度图。该运动掩模和/或饱和掩模可用于以上述方式进行的后续处理，以改善图13深度图的扭曲区域。在这方面，系统可以使用掩模来识别错误的深度信息。根据系统应用的用于处理潜在错误深度像素的策略，系统可以可选择地将低置信等级分配给被确定受饱和影响的像素和/或移除或补偿丢失或不可靠的深度信息，例如，以上述与照明功率和/或积分时间相关的方式。
上述步骤(步骤300至314、400至406和416至420)重复(步骤316)，直到不再需要生成深度图。
在上述实施例中，饱和检测技术类似于运动检测技术，因为补偿应用于参考固定阈值分析的高阶谐波频率信号。在正常操作期间，选择饱和检测阈值Csat以便高于运动检测阈值Cm，并且因此在不使用如上所述的附加滤波/校正的情况下将饱和错误地检测为运动。然而，在另一个实施例中，可以通过比较高阶谐波频率信号的经补偿振幅ai′与光子混合器像素装置102的基频信号a1的振幅相对于饱和极限值Lsat的可用净空来区分运动伪影与饱和。净空可以通过从饱和极限Lsat减去基频信号的振幅a1来计算。
参考图19，畸变确定单元136被配置为根据上述饱和净空技术来识别光子混合器像素设备102的饱和。在本示例中，畸变确定单元136与图10描述的先前示例不同，如以下方式。畸变确定单元136包括第一求和单元200，其第一输入202耦合到畸变确定单元136的第一输入134，第一求和单元200的第二符号反转输入204耦合到缩放单元206的输出。缩放单元206的输入耦合到畸变确定单元136的第二输入138。第一求和单元200的输出208耦合到第二比较器214的第一输入，不再采用第一比较器212。第二比较器214的第二输入耦合到第二求和单元218的输出216，第二求和单元218的第一符号反转输入220耦合到畸变检测单元136的第二输入138。第二求和单元218的第二输入222耦合到畸变确定单元136的第三输入140，在该示例中，第三输入140提供可存储在上述数字存储器中的饱和极限值Lsat。第二比较器214的输出耦合到畸变确定单元136的畸变检测输出142，该畸变检测输出142在本示例中用作饱和检测输出。
在操作(图3)中，场景被照亮，反射光由系统的每个光子混合器像素设备102根据间接飞行时间测量技术以每像素为基础进行测量，并且，DFT单元110以上述关于先前实施例的方式生成输出向量的分量，向量是关于基频和高阶谐波频率的(步骤300到304)。如上所述，由笛卡尔-极坐标转换器126计算关于基频信号的相位角和振幅，并且由第二振幅计算单元132计算关于高阶谐波频率信号的振幅。在该示例中，笛卡尔－极坐标系转换器126因此在根据基频信号I和Q的复平面中计算第一提取(测量)计算振幅a1，并且第二振幅计算单元132，在根据二阶谐波频率I和Q值的复平面中计算第二提取(测量)计算振幅a2(步骤306到310)参考图20，在接收(步骤400和402)第一和第二计算振幅a1、a2之后，畸变确定单元136计算(步骤404和406)经补偿的第二振幅a2'，该经补偿的第二振幅a2'是从二阶谐波频率信号的第二计算振幅a2减去经缩放的第一计算振幅β2a1形成的。基本上同时，第一计算振幅a1被应用于第二求和单元218的第一符号反转输入220，并且饱和极限值Lsat被应用于第二求和单元218的第二输入222。响应于这些输入，第二求和单元218生成(步骤422)输出值，该输出值是构成饱和阈值的饱和极限值Lsat和第一计算振幅a1(即Lsat–a1)之间的差。然后由第二比较器214将经补偿的第二振幅a2’与饱和阈值Lsat–a1进行比较(步骤424)，以确定经补偿的第二振幅a2'的水平是否小于饱和阈值Lsat–a1。当经补偿的第二振幅a2′等于或大于饱和阈值Lsat–a1时，第二比较器214输出(步骤426)关于光子混合器像素装置102的饱和检测信号，例如逻辑高，指示已检测到饱和。否则，第二比较器214输出(步骤428)例如逻辑低，作为饱和检测信号。
重复上述步骤(步骤300至314、400至406和424至428)(步骤316)，直到不再需要生成深度图。
参考图21(a)，使用非0.5的占空比D的照明源照亮包含上述与前一实施例相关的普通反射率对象的场景，该场景反射照射光。相位信号发生器112还使用相同的占空比D。反射光由光子混合器像素设备102接收，并且DFT单元110输出基频向量V1和二阶谐波向量V2的分量。笛卡尔-极坐标转换器126和第二振幅计算单元132如上所述计算第一振幅a1和第二振幅a2。由于占空比D不是0.5，即连续波光信号的波形是脉冲宽度非对称的，因此，即使在没有发生关于场景的饱和时，DFT单元110输出的二阶谐波频率信号也是非零的。使用先前计算的缩放因子，第二振幅a2从其未补偿值返回到零，以提供可与计算的饱和阈值Lsat–a1进行比较的值，以便检测饱和(如果存在)。因此，当光子混合器像素装置102未被从场景中的对象接收到的反射光饱和时，从二阶谐波频率信号的第二计算振幅a2减去缩放的第一计算振幅β2a1产生零值或基本上为零值，而与占空比D无关，由上述电磁辐射源发射的连续波光信号。在该示例中，光子混合器像素装置102未饱和，因此第二计算振幅a2保持在其标称值。因此，缩放的第一计算振幅β2a1是第二计算振幅a2的预期值，因此减法产生零或接近零的结果。因此，经补偿的第二振幅a2’小于饱和阈值Lsat–a1，因此将导致饱和检测输出142处的输出指示未检测到饱和。应当理解，这种饱和检测方式优于先前描述的饱和检测技术，因为对于非饱和图像，相对于饱和图像，检测阈值可以设置得更高。因此，较高的饱和阈值降低了由于运动被错误地检测为饱和而引起的经补偿振幅的可能性。
转到图21(b)，其中光子混合器像素设备102接收的反射光来自场景中的高反射对象，第一计算振幅a1达到与光子混合器像素设备102的饱和相对应的水平Lsat，即光子混合器像素设备102处于饱和状态。因此，第二计算振幅a2处于通常与未检测到饱和相关的标称水平。然而，通过从二阶谐波频率信号的第二计算振幅a2减去缩放的第一计算振幅β2a1而形成的经补偿的第二振幅a2′是，通过以缩放的第一计算振幅β2a1的形式应用补偿因子，减小到零或基本为零。在该水平，经补偿的第二振幅a2′等于饱和阈值Lsat–a1，因此将导致饱和检测输出142处的输出指示光子混合器像素装置102已经饱和或处于饱和状态。
现在参考图21(c)，当场景中的高反射对象使从其反射的照射光饱和光子混合器像素装置102时，经补偿的第二振幅a2′变为非零并超过饱和阈值Lsat–a1，并且这将导致饱和检测输出142处的输出指示光子混合器像素装置102已经饱和。由于饱和阈值Lsat–a1的动态性质，在这种情况下，饱和阈值Lsat–a1变为零或略小于零，从而低于运动检测阈值Cm。因此，与前面描述的饱和检测技术相比，这提供了对受运动影响的像素的饱和像素的更好的检测，即选择性。
在另一实施例中，光子混合器像素装置102被视为不受饱和极限值Lsat约束。当不受饱和极限值Lsat的约束时，使用补偿因子来对关于光子混合器像素装置102接收的反射光的基频的振幅a1*进行建模。这实际上是关于光子混合器像素装置102的真实接收光强度的估计。所计算的振幅由畸变确定单元136计算，并且实际上是虚拟振幅，因为实际上光子混合器像素设备102最终会饱和，因此具有饱和极限。畸变计算单元136还计算光子混合器像素装置102的虚拟振幅a1*和饱和极限值Lsat之间的差。该差值是剩余振幅，即虚振幅a1*超过饱和极限值Lsat的振幅量。为了检测光子混合器像素装置102的饱和，可以将剩余振幅a1*-Lsat与经补偿的高阶谐波频率信号的振幅ai'进行比较，但是从下面的解释中可以明显看出，将剩余振幅a1*-Lsat与阈值进行比较就足够了，例如，饱和阈值Csat设置为本示例特定的值。
可将缩放因子βi的倒数或倒数应用于由DFT单元110生成的高阶谐波频率信号的振幅ai，以便建模(例如投影)基频信号的振幅a1*的无约束值，上述称为虚拟振幅。参考图22，畸变计算单元136的配置稍有不同，因为畸变计算单元136不再需要来自笛卡尔-极坐标转换器126的第一计算振幅a1。相反，畸变计算单元136的第二输入138现在用于提供存储在数字存储器中的饱和极限值Lsat，如上一示例所述。畸变计算单元136的第一输入134耦合到第二缩放单元224的输入，第二缩放单元224被配置为应用缩放因子βi的倒数，即βi -1。第二缩放单元224的输出耦合到第三求和单元228的第一输入226，第三求和单元228的第二符号反转输入230耦合到畸变计算单元136的第二输入138。第三求和单元228的输出232耦合到第三比较器234的第一输入。第三比较器234的第二输入耦合到畸变计算单元136的第三输入140，从该单元提供上述饱和阈值Csat。第三比较器234的输出耦合到畸变计算单元136的饱和检测输出142。
在操作中(图3)，根据间接飞行时间测量技术，由系统的每个光子混合器像素设备102在每个像素的基础上照亮场景并测量反射光。DFT单元110以上述关于先前实施例的方式生成输出向量，这些向量是关于基频和高次谐波频率的(步骤300到304)。如上所述，由笛卡尔-极坐标转换器126计算关于基频信号的相位角和振幅，并且第二振幅计算单元132计算关于高阶谐波频率信号的振幅。在该示例中，笛卡尔－极坐标系转换器126因此在根据基频I和Q值的复平面中计算第一提取(测量)计算振幅a1，并且第二振幅计算单元132在根据二阶谐波频率I和Q值在复平面中计算第二提取(测量)计算振幅a2，(步骤306到310)，尽管第一计算的振幅a1在本示例中不用于确定饱和，但它可用于其他目的，例如作为置信度指示符，用于选择像素以进行进一步处理。参考图23，畸变确定单元136计算(步骤430)缩放因子的倒数βi -1，并且在接收(步骤432)第二计算振幅a2之后，畸变确定单元136计算(步骤434)虚拟振幅a1*，该虚拟振幅a1由第二缩放单元224通过缩放因子的倒数βi -1缩放第二计算振幅a2形成。然后，通过第三求和单元228从虚拟振幅a1*减去饱和极限Lsat来计算剩余振幅(步骤436)。然后，第三比较器134将剩余振幅Lsat-a1*与饱和阈值Csat进行比较(步骤438)，以确定剩余振幅Lsat-a1*是否大于或等于饱和阈值Csat。当剩余振幅Lsat-a1*等于或大于饱和阈值Csat时，第三比较器234输出(步骤440)关于光子混合器像素装置102的饱和检测信号，例如逻辑高，指示已检测到饱和。否则，第三比较器234输出(步骤442)逻辑低，例如，作为饱和检测信号。
参考图24(a)，使用非0.5的占空比D的照明源照亮包含上述普通反射率对象且反射照射光的场景。相位信号发生器112还使用相同的占空比D。反射光由光子混合器像素设备102接收，并且DFT单元110分别生成基频向量V1和二阶谐波向量V2的分量。如上所述，笛卡尔-极坐标转换器126和第二振幅计算单元132基于基频向量V1和二阶谐波向量V2的分量计算第一振幅a1和第二振幅a2。由于占空比D不是0.5，即连续波光信号的波形是脉宽不对称的，由DFT单元110输出的二阶谐波信号的第二计算振幅a2以及其他高阶谐波，即使在不存在由场景引起的关于光子混合器像素设备102的饱和时，也为非零。从第二计算振幅a2计算出的剩余振幅Lsat-a1*用作饱和的测量，可与计算阈值Csat进行比较，以检测饱和(如存在)。当光子混合器像素装置102未被从场景中的对象接收到的反射光饱和时，剩余振幅Lsat-a1*是负值，与上述电磁辐射源发射的连续波光信号的占空比D无关。在该示例中，光子混合器像素装置102未饱和，因此剩余振幅Lsat-a1*为负。由于剩余振幅剩余振幅，Lsat-a1*小于饱和阈值Csat(图24(a)中未示出)，饱和检测输出142处的输出指示未检测到饱和。
转到图24(b)，其中光子混合器像素设备102接收的反射光来自场景中的高反射对象，第一计算振幅a1达到对应于处于饱和状态的光子混合器像素设备102的水平Lsat。因此，第二计算振幅a2处于通常与未检测到饱和相关联的标称水平。然而，计算的剩余振幅Lsat-a1*为零或基本为零。在该水平，剩余振幅Lsat-a1*等于饱和阈值Csat，并且饱和检测输出142处的输出指示光子混合器像素装置102已经饱和或处于饱和状态。
现在参考图24(c)，当场景中的高反射对象使从其反射的照射光饱和光子混合器像素设备102时，剩余振幅Lsat-a1*变为非零和正，因此超过饱和阈值Csat，因此，饱和检测输出142处的输出指示光子混合器像素装置102已经饱和。
在另一个实施例中，该系统是成像系统，包括统计处理引擎，该引擎使用剩余振幅Lsat-a1*作为输入，以便在图像水平识别饱和像素或饱和区域。在这方面，在第二次测量场景之前，可以使用剩余振幅Lsat-a1*来修改(例如)减少一个或多个配置/设置参数，例如积分时间和/或照明功率。因此，第二测量预计不会比第一测量饱和或饱和程度更低。在一个示例中，统计处理引擎分析关于第一帧周期生成的深度图，并确定最大剩余振幅，然后使用最大剩余振幅作为修改关于第二个后续帧周期的一个或多个测量参数(例如，上述积分时间和/或照明功率)的基础。在另一示例中，第一深度图图像的饱和区域可以被在第一帧周期之后(例如紧随第一帧周期之后)的第二帧周期内获取的第二深度图图像的非饱和对应区域替换。此外，对于一些应用，统计处理可以包括滤波和/或算法处理，以便忽略饱和像素和/或饱和线的小簇，并避免对这些像素应用补偿，因为应用的性能(例如图像识别)不受如此少量像素饱和的影响。
参考图25，系统在第一帧周期内生成(步骤500)构成第一图像捕获的第一深度图，并使用上述技术来计算关于系统的每个或基本上每个光子混合器像素设备102的剩余振幅Lsat-a1*。然后，系统统计地评估(步骤502)第一深度图，以识别剩余振幅Lsat-a1*超过零的第一深度图的区域。统计分析可以包括统计达到饱和极限值Lsat的像素的振幅，统计超过饱和极限值Lsat的像素的剩余振幅Lsat-a1*，并分析收集的数据以识别产生高于饱和极限值Lsat的振幅的最大数量的像素。具有最高计数的剩余振幅Lsat-a1*可用作饱和极限值Lsat以上最常见剩余振幅值的测量。最常见的剩余振幅Lsat-a1*和饱和极限值Lsat之间的差值可用作饱和程度的度量，并用于修改积分时间、照明强度或其组合，通过例如计算的振幅差所代表的饱和极限值Lsat的比例。在另一个示例中，像素的振幅和剩余振幅可以通过组合来聚合。在这方面，统计处理引擎可以分析生成的计数数据，以识别剩余振幅Lsat-a1*，作为用于确定(步骤504)给定计算剩余振幅Lsat-a1*是否等于或低于可接受饱和阈值的可接受饱和阈值。在一个示例中，具有最高计数的振幅单元可用作可接受的饱和阈值。在另一个示例中，可以预先确定最小计数值并用于识别在最小计数值之上具有最高计数的振幅单元，所识别的振幅单元被用作可接受的饱和阈值，例如其中点。
如果未超过饱和阈值，则认为饱和水平可接受，并重复上述过程(步骤500至504)，并使用相同的测量参数生成进一步的深度图。但是，如果超过饱和阈值，则修改一个或多个测量参数，例如，上述电磁辐射源的积分时间和/或功率(步骤506)，以尝试减少饱和，并使用自适应测量参数在紧接第一帧周期之后的第二帧周期内生成另一深度图(步骤508)。然后，第一深度图中被识别为剩余振幅Lsat-a1*大于零的区域在对应的第二深度图中被识别，并且与第一深度图中剩余振幅Lsat-a1*被识别为大于零的区域相关联的测量被第二深度图中对应的相同区域替换(步骤510)。然后输出校正后的深度图以供进一步处理。重复上述过程(步骤500至512)，直到不再需要深度图生成。
尽管在上面的示例中，使用剩余振幅Lsat-a1*作为振幅过大的测量，但是可以使用虚拟振幅a1*代替剩余振幅Lsat-a1*，并且可以相应地增加饱和阈值Csat以补偿虚拟振幅a1*的直接使用，与剩余振幅相反，Lsat-a1*。
在另一个示例中，修改图22的畸变确定单元136，使得在畸变计算单元136的第二输入138处提供第一计算振幅a1，而不是在第二输入138处提供饱和极限值Lsat。关于第三比较器234，饱和阈值Csat相应地增加，例如通过缩放因子βi的倒数。在第三求和单元228的输出232处，对于正值，生成的输出值将对应于剩余振幅。因此，该剩余振幅可用于识别饱和像素和/或修改一个或多个配置/设置参数，以便以与上述剩余振幅的的测量类似的方式减轻或校正饱和的影响。
当像素未经历饱和时，计算出的剩余振幅和第一计算振幅a1基本相等，因此这两个值之间的差值的评估为零，这小于饱和阈值Csat，因此第三比较器234的输出产生例如逻辑低，作为指示像素未饱和或处于饱和的饱和检测信号。在像素处于饱和的情况下，计算的剩余振幅和第一计算振幅a1仍然基本相等，因此这两个值之间的差值的评估为零。因此，例如，第三比较器234仍然产生逻辑低。然而，当像素饱和时，计算的剩余振幅变得大于第一计算振幅a1，因此这两个值之间的差值的评估为非零，并且当差值大于饱和阈值Csat时，例如，第三比较器234的输出产生逻辑高，作为指示像素饱和的饱和检测信号。
技术人员应当领会，上文所描述的实现方式仅仅是在所附权利要求的范围内可想到的各种实现方式的示例。实际上，关于将饱和检测为畸变的上述示例，应当理解，尽管已经描述了偶次谐波频率信号的使用，但是奇次谐波频率信号也可以用于饱和检测。在上述等式(4)的上下文中，“i∈N”是相对于“i∈2N”而言的。关于上述关于将运动伪影检测为畸变的第一示例，偶次谐波频率信号可用于检测运动伪影。然而，应当理解，在该示例和本文描述的其他示例中，偶次谐波频率可以包括0次谐波频率。实际上，在该示例中，偶次谐波频率信号可以是所采用的相位偏移值的数量所允许的两个或更多偶次谐波频率信号的组合，例如0次谐波频率和二次谐波频率的组合。
尽管本文中描述的缩放因子β和缩放因子β-1的倒数是由畸变确定单元136计算的，但本领域技术人员应当理解，这些因子可以预先计算和存储，例如在相机设置阶段期间预先计算。

Claims (15)

1.一种运动或饱和确定装置，包括：
光源，被配置为根据间接飞行时间测量技术发射光；
光电设备，被配置为接收电磁信号并根据所述间接飞行时间测量技术将所述电磁信号转换为分别对应于在帧周期内应用的多个预定相位偏移值的多个电输出信号，所述光电设备还被配置为存储所述多个电磁信号中的每一个；
信号处理电路，被配置为根据所述间接飞行时间测量技术来处理所述多个电输出信号，以便计算基本上平行的并且从在所述帧周期内生成的所述多个电输出信号导出的多个测量向量，所述多个测量向量分别是关于多个频率，并且包括关于基波频率的第一测量向量和关于非基波频率的第二测量向量；其中
所述信号处理电路还被配置为计算将所述第一测量向量的第一振幅与所述第二测量向量的第二振幅相关联的标量，并使用所述标量来识别所述光电设备在所述帧周期内的运动或饱和。
2.如权利要求1所述的装置，其中通过参考畸变确定阈值来识别所述畸变。
3.如权利要求1或2所述的装置，其中所述信号处理电路被配置为计算所述第二测量向量的经补偿第二振幅，所述经补偿第二振幅的所述计算包括将所述标量应用于所述第一测量向量的所述第一振幅。
4.如权利要求3所述的装置，其中所述信号处理电路进一步被配置为从所述第二振幅中减去经缩放的第一振幅。
5.如权利要求1或2所述的装置，其中所述信号处理电路被配置为计算所述第二测量向量的经补偿第二振幅，所述经补偿第二振幅的所述计算包括将所述标量应用于所述第二测量向量的所述第二振幅，以及所述信号处理电路从所述经缩放的第二振幅中减去所述第一振幅。
6.如权利要求1或2所述的装置，所述信号处理电路配置为估计关于所述光电设备的真实接收强度，所述真实接收强度的估计包括将所述标量的倒数应用于所述第二测量向量的所述第二振幅。
7.一种运动检测装置，包括：
如权利要求4所述的运动或饱和确定装置；其中
所述非基波谐波频率为偶次谐波频率；并且
所述信号处理电路被配置为计算所述减法的结果的绝对值，并将所述绝对值与所述畸变确定阈值进行比较。
8.如权利要求7所述的装置，其中所述畸变确定阈值是预定的运动阈值。
9.一种饱和检测装置，包括：
如权利要求4所述的运动或饱和确定装置；其中
所述信号处理电路被配置为将所述减法的结果与所述畸变确定阈值进行比较。
10.如权利要求9所述的装置，其中所述畸变确定阈值是预定的饱和阈值。
11.如权利要求9所述的装置，其中，
所述光电设备具有与其相关联的饱和极限；并且
所述信号处理电路被配置为通过计算所述第二振幅和所述光电设备的所述饱和极限之间的可用净空来计算构成所述畸变确定阈值的饱和阈值。
12.一种饱和检测装置，包括：
如权利要求6所述的运动或饱和确定装置；其中
所述光电设备具有与其相关联的饱和极限；并且
所述信号处理电路被配置为计算所述饱和极限和计算的所述真实接收强度之间的差值。
13.如权利要求12所述的装置，当从属于权利要求2时，其中：
所述畸变确定阈值是预定的饱和阈值；并且
所述信号处理电路被配置为将计算出的所述差值与所述预定饱和阈值进行比较。
14.一种成像系统，包括：
光电设备阵列，包括所述光电设备；
如权利要求12所述的饱和检测装置，所述饱和检测装置被配置为检测所述光电设备阵列中每个所述光电设备的饱和；其中
所述信号处理电路被配置为使用所述光电设备阵列执行第一图像捕获；
所述信号处理电路被配置为统计地分析所述饱和阈值极限和关于所述光电设备阵列的真实接收强度之间计算出的差，并识别所述光电设备阵列中经历关于所述第一图像捕获的饱和的区域；并且
所述信号处理电路被配置为修改与所述第一图像捕获相关联的性能参数，并执行实现修改的性能参数的第二图像捕获。
15.一种确定用于间接飞行时间距离测量装置的光电设备的运动或饱和的方法，该方法包括：
根据间接飞行时间测量技术发射光；
响应于接收到的光信号并分别对应于根据所述间接飞行时间测量技术在帧周期内应用的多个预定相位偏移值，生成和存储多个电输出信号；
根据所述间接飞行时间测量技术处理所述多个电输出信号，以计算基本上平行的并且从在所述帧周期内生成的所述多个电输出信号导出的多个测量向量，所述多个测量向量分别是关于多个频率，并且包括关于基波频率的第一测量向量和关于非基波频率的第二测量向量；并且
计算将所述第一测量向量的第一振幅与所述第二测量向量的第二振幅相关联的标量；并且
使用所述标量识别所述光电设备在所述帧周期内的运动或饱和。
CN202110983419.3A 2020-08-26 2021-08-25 畸变确定装置和确定畸变的方法 Pending CN114200466A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20192948.6A EP3961258A1 (en) 2020-08-26 2020-08-26 Distortion determination apparatus and method of determining a distortion
EP20192948.6 2020-08-26

Publications (1)

Publication Number Publication Date
CN114200466A true CN114200466A (zh) 2022-03-18

Family

ID=72266128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110983419.3A Pending CN114200466A (zh) 2020-08-26 2021-08-25 畸变确定装置和确定畸变的方法

Country Status (3)

Country Link
US (1) US20220066004A1 (zh)
EP (1) EP3961258A1 (zh)
CN (1) CN114200466A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11861857B2 (en) 2020-12-08 2024-01-02 Zoox, Inc. Determining pixels beyond nominal maximum sensor depth
US11994591B2 (en) * 2020-12-08 2024-05-28 Zoox, Inc. Determining depth using multiple modulation frequencies
US11954877B2 (en) 2020-12-08 2024-04-09 Zoox, Inc. Depth dependent pixel filtering

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8587771B2 (en) * 2010-07-16 2013-11-19 Microsoft Corporation Method and system for multi-phase dynamic calibration of three-dimensional (3D) sensors in a time-of-flight system
US10416297B2 (en) 2014-04-08 2019-09-17 Walkatolink Limited Signal harmonic error cancellation method and apparatus
US9785824B2 (en) * 2014-04-15 2017-10-10 Infineon Technologies Ag Apparatus and a method for detecting a motion of an object in a target space

Also Published As

Publication number Publication date
US20220066004A1 (en) 2022-03-03
EP3961258A1 (en) 2022-03-02

Similar Documents

Publication Publication Date Title
CN114200466A (zh) 畸变确定装置和确定畸变的方法
JP5834079B2 (ja) 飛行時間システムにおける３次元（３ｄ）センサーの多相位相動的キャリブレーションのための方法及びシステム
US11215700B2 (en) Method and system for real-time motion artifact handling and noise removal for ToF sensor images
EP2955544B1 (en) A TOF camera system and a method for measuring a distance with the system
EP3715907B1 (en) Methods and apparatuses for compensating light reflections from a cover of a time-of-flight camera
JP5448617B2 (ja) 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
EP2073035A1 (en) Recording of 3D images of a scene
US11047962B2 (en) Method for binning time-of-flight data
WO2020196087A1 (ja) 距離測定装置および画像生成方法
US20210173054A1 (en) Optical range calculation apparatus and method of range calculation
CN106341685A (zh) 一种图像传感器检测方法和装置
US20200167942A1 (en) Filtering Continous-Wave Time-of-Flight Measurements, Based on Coded Modulation Images
US20130176550A1 (en) Image sensor, image sensing method, and image photographing apparatus including the image sensor
CN113267786A (zh) 光学距离计算装置和扩展可测量范围的方法
Dorrington et al. An evaluation of time-of-flight range cameras for close range metrology applications
CN112014858A (zh) 修正测距异常的距离图像生成装置
EP3835720B1 (en) Method for multipath error compensation and multipath error-compensated indirect time of flight range calculation apparatus
Godbaz et al. Multiple return separation for a full-field ranger via continuous waveform modelling
CN113052886A (zh) 一种采用双目原理的双tof相机深度信息获取方法
US20220128692A1 (en) Method for depth measurement with a time-of-flight camera using amplitude-modulated continuous light
US20210364612A1 (en) Method of optical detection and optical detection apparatus
US11836938B2 (en) Time-of-flight imaging apparatus and time-of-flight imaging method
US20240193800A1 (en) Time-of-flight imaging apparatus and time-of-flight imaging method
CN112511772B (zh) 一种图像传感器、增强图像传感器线性的方法及深度相机
US11630190B2 (en) Electronic device, method and computer program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination