CN103748479B - 用于提供距离信息的飞行时间摄像机及方法 - Google Patents

用于提供距离信息的飞行时间摄像机及方法 Download PDF

Info

Publication number
CN103748479B
CN103748479B CN201280034752.9A CN201280034752A CN103748479B CN 103748479 B CN103748479 B CN 103748479B CN 201280034752 A CN201280034752 A CN 201280034752A CN 103748479 B CN103748479 B CN 103748479B
Authority
CN
China
Prior art keywords
signal
flight
time
scene
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280034752.9A
Other languages
English (en)
Other versions
CN103748479A (zh
Inventor
W·范德滕佩尔
R·格鲁腾斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Softkinetic Sensors NV
Original Assignee
Softkinetic Sensors NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=44586720&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN103748479(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Softkinetic Sensors NV filed Critical Softkinetic Sensors NV
Publication of CN103748479A publication Critical patent/CN103748479A/zh
Application granted granted Critical
Publication of CN103748479B publication Critical patent/CN103748479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D13/00—Control of linear speed; Control of angular speed; Control of acceleration or deceleration, e.g. of a prime mover
    • G05D13/08—Control of linear speed; Control of angular speed; Control of acceleration or deceleration, e.g. of a prime mover without auxiliary power
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B15/00—Suppression or limitation of noise or interference

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明涉及一种利用飞行时间照相机（1）提供场景的距离信息的方法，该方法包括以下步骤：向场景发射调制光脉冲，从场景接收调制光脉冲的反射，估计所接收的调制光脉冲的反射的飞行时间信息，以及从所接收到的反射的飞行时间信息推导出距离信息，据此将扩展频谱信号施加到调制光脉冲的基频上，并且考虑施加到调制光脉冲的基频上的扩展频谱信号来估计飞行时间信息。本发明还涉及一种用于从场景提供距离信息的飞行时间照相机（1），据此飞行时间照相机（1）执行以上操作。

Description

用于提供距离信息的飞行时间摄像机及方法
本发明涉及一种利用测距装置诸如飞行时间传感器或飞行时间摄像机来提供场景的距离信息的方法，该方法包括以下步骤：向场景发射调制光脉冲；从场景接收调制光脉冲的反射；估计所接收的反射的调制光脉冲的飞行时间信息；以及从所接收的反射的飞行时间信息推导出距离信息。本发明还涉及一种根据上述方法从场景提供距离信息的测距装置，例如飞行时间传感器或飞行时间摄像机。
背景技术
飞行时间摄像机(也称作TOF摄像机)是这样的一种摄像机，其通常包括用于发射调制光脉冲的光源或发射器单元、捕获光脉冲的反射的接收器单元、对飞行时间信息或接收到的反射进行估计的估计单元，以及从飞行时间信息推导出距离信息的计算单元。距离信息也被称作深度。发射器单元向场景发射调制光脉冲，其中从存在于场景中的物体朝向接收器单元反射调制光脉冲。根据从TOF摄像机到物体的距离，响应于所发射的调制光脉冲延迟地接收到发射。由估计单元对该延迟(也被称作飞行时间)进行估计，并且进一步由计算单元处理该延迟以推导出物体的距离。
接收器单元包括光学系统和多个光接收点(也被称作像素)，使得不同的像素能够在相同的时间接收来自不同物体的反射。每个像素独立地接收调制光脉冲的反射。对于各个像素，飞行时间信息和距离信息也被单独地处理以便针对全部场景同时地提供距离信息。
通过测量发送的调制光脉冲与接收的调制光脉冲之间的时间延迟或相位差，以间接的方式逐个像素地测量距离。典型地，调制可以是脉冲调制、正弦调制、伪噪声调制等。于是，发送的调制信号与接收的调制信号的相位差就提供了对时间延迟的测量。
为了提供能够高精度地提供距离信息的TOF摄像机，采用了清晰脉冲(sharplydefinedpulse)，该清晰脉冲优选地具有受限的上升时间和下降时间。如图1的示例频谱所示，由于该要求，用于调制电子光源的光输出的电子调制信号的频谱内容包含了许多具有很大能量的谐波。
此外，由于从相位测量到距离测量的变换需要对调制频率的精确了解，因此通常调制频率被很好地定义。由此，频谱中的波峰趋向于窄而高。
由于TOF摄像机必须与其他电子设备共存，所以会产生问题。谐波中的大量能量会阻止设备的电磁兼容。一般这样的设备必须与不同的规范兼容。根据FCC(美国)、EC(欧洲)或CCC(中国)标准可采用针对电磁兼容(EMC)的相关规范。因此，使用TOF摄像机会受到限制和/或TOF的精度会间接地受到这些要求的限制而无法满足EMC要求。典型的调制频率位于10MHz和100MHz之间，生成了相关的谐波。
减小从电子设备辐射的EMI总量是在致力于解决低制造成本过程中最艰难的问题之一。如果在设计阶段不采取必要的步骤，那么兼容器件会是相当昂贵的。新产品研发资金的40％-50％可能花费在追求适合经济生产的兼容产品上。
在高速数字系统中，时钟振荡器产生用于定时的固定频率的方波信号。该时钟的频率假设被固定并对频率取倒数就得到了时钟的周期。时钟的周期是从上升沿上的点到紧邻的下一个时钟的上升沿上的同一点的时间。理想的时钟没有可测量的抖动并且各个时钟循环的周期总是完全相同。低EMI时钟振荡器或扩频时钟是特殊类型的数字时钟，相比传统的时钟输出，其提供了更低的EMI。对基频进行调制并且在更宽的频谱上分散能量，从而减小包含在任一频率上的峰值能量。基频和谐波频率的峰值相对较低。最初在基频时钟信号的谐波中的总能量不会简单消失，而是会被分散在更宽的频带上。通过改变时钟的频率，这种时钟的周期与提供的抖动一样也会发生改变。因此，前后周期抖动(cycle-to-cyclejitter)被添加到这样的时钟中。在确定距离方面，抖动将会减小测距的飞行时间设备的精度。
发明内容
因此，本发明的目的是提供一种利用测距装置诸如飞行时间传感器或飞行时间摄像机来提供场景的距离信息的另选方法，以及适于根据以上方法从场景提供距离信息的另选测距装置，例如飞行时间传感器或飞行时间摄像机。
通过独立权利要求实现该目的。在从属权利要求中详述有益的实施方式。方法的实施方式和诸如飞行时间传感器或飞行时间摄像机的测距装置的实施方式的优点在于在减小了EMI的同时获得了高精度的距离信息。因此，根据本发明的方法的实施方式和诸如飞行时间传感器或飞行时间摄像机的测距装置的实施方式的优点在于在保持高精度的同时与EMC标准兼容。
因此，通过利用诸如飞行时间传感器或飞行时间摄像机的测距装置来提供场景的距离信息的方法实现以上目的，该方法包括以下步骤：向场景发射周期性光信号诸如一连串的光脉冲；从场景接收周期性光信息号的反射；估计接收到的周期性光信号的反射的飞行时间信息；以及从接收到的反射的飞行时间信息推导出距离信息，据此根据基频的调制信号发射周期性光信息号，从而作为频率调制将扰动施加到调制信号的基频。然后通过接收用于确定飞行时间信息的反射光的检测器利用该频率扰动调制信号生成周期性光信号并且将该频率扰动调制信号用作基准信号。可以逐个像素地实现该过程。根据该距离信息和场景图像可以生成3D图像。
根据本发明的一个方面，提供了一种利用飞行时间传感器或摄像机来提供场景的距离信息的方法，该方法包括以下步骤：根据基于时钟定时的调制信号向所述场景发射周期性光信号，所述时钟定时具有被扩展了周期性扰动的基频，所述周期性扰动具有扰动频率和周期；从所述场景接收所述周期性光信号的反射；根据所述调制信号在一组多个测量持续时间上估计所接收到的所述周期性光信号的反射的飞行时间信息；以及从所接收到的反射的所述飞行时间信息推导出距离信息，其中，所述一组多个测量持续时间中的每个测量持续时间都是所述扰动周期的整数倍或半整数倍，并且在所述一组测量持续周期上平均基频保持恒定)。
周期性光信号可以是诸如方波脉冲的脉冲也可以是诸如正弦信号的其他波形。
通过用于从场景提供距离信息的诸如飞行时间传感器或飞行时间摄像机的测距装置也可以实现本发明的目的，从而飞行时间摄像机可执行以上方法。
因此，在本发明的另一方面，提供了一种与用于向场景发射周期性光信号的光源一起使用的飞行时间传感器，所述飞行时间传感器用于从场景提供距离信息，所述飞行时间传感器包括：调制单元，其用于基于时钟定时提供针对所述光源的调制信号，所述时钟定时具有被扩展了周期性扰动的基频，所述周期性扰动具有扰动频率和周期；接收组，其具有接收器单元、估计单元和处理单元，所述接收组与所述调制单元相连接以接收所述调制信号；所述估计单元被设置为根据被扩展了所述周期性扰动的所述时钟定时在一组多个测量持续时间上估计从所述场景接收到的反射的飞行时间信息；所述计算单元被设置为从由所述估计单元提供的所述飞行时间信息推导出距离信息，其中，所述一组多个测量持续时间中的每个测量持续时间都是所述扰动周期的整数倍或半整数倍，并且在所述一组测量持续周期上平均基频保持恒定。
调制信号可以是诸如方波脉冲的脉冲也可以是诸如正弦信号的其他波形。
本发明还提供一种与用于向场景发射周期性光信号的光源一起使用的飞行时间传感器的定时模块，所述飞行时间传感器用于从场景提供距离信息，所述定时模块包括：调制单元，其用于提供针对所述光源的具有时钟定时的调制信号，所述时钟定时具有被扩展了周期性扰动的基频，所述周期性扰动具有扰动频率和周期；所述调制单元被设置为根据被扩展了所述周期性扰动的所述时钟定时在一组多个测量持续时间上提供所述调制信号，其中，所述一组多个测量持续时间中的每个测量持续时间都是所述扰动周期的整数倍或半整数倍，并且在所述一组测量持续周期上平均基频保持恒定。
施加到光源的调制信号可以是诸如方波脉冲的脉冲也可以是诸如正弦信号的其他波形。
本发明的一个方面是向光的调制基频应用周期性频率扰动，并且在考虑该扰动的情况下估计反射的飞行时间信息，从而确定一个相位差值所需的一组测量持续时间中的各个测量持续时间是扰动周期的整数倍或半整数倍。此外，尽管有扰动，但是在确定一个相位差值所需的全部测量持续时间的各个测量持续时间上平均基频却保持为常数。即便周期性扰动和随机频率扰动具有相同的平均频率，周期性扰动也不包括不具有相同频谱内容的随机频率扰动。扰动可以是基频中连续振荡的变化或者是以基频为中心的一系列不同的频率。
尽管有引入一些有效抖动的周期性光信号的基频的扰动，但是也可以实现针对反射的飞行时间信息的估计。存在于场景中的物体能够被可靠地检测并且可以提供针对这些物体的适合的距离信息。应用的频率扰动改善了诸如TOF传感器或TOF摄像机的测距装置的电磁兼容。本发明具有一些高能基频峰或谐波峰不再位于频谱中清晰频率上的效果。在更大的频谱区中分散波峰中的能量，从而降低频谱能量密度，因此改善了EMC。本发明不仅使“扩展频谱”技术应用于周期性光信号，而且也在确定一个相位差值所需的一组持续时间上保持频谱内容不变。具有周期性时钟定时扰动的扩展频谱时钟是易于得到的，但这会带来一些抖动。扩展频谱时钟可成为具有本发明实施方式的新颖调制的TOF传感器或TOF摄像机的一部分。
可通过对接收的周期性光信号和基准信号之间的时间延迟或相位变化进行测量来确定接收到的反射的飞行时间信息，其中所述接收的周期性光信号和基准信号都经历了相同的扰动。由于零差测量原理，该扰动可能不会影响飞行时间测量。可以关于飞行时间信息容易地对接收的反射进行估计，并且从该飞行时间信息可容易地推导出距离信息，其中该接收的反射由于发射的脉冲和接收的脉冲重叠而相互关联或混合。在TOF传感器或TOF摄像机的一个实施方式中，为了针对周期性光信号的生成而生成调制信号，优选地与单个扰动时钟一起使用扩展频谱或单个系统时钟，并且其也用在飞行时间信息估计中。扰动是周期性信号，例如，其是相比于调制的基频具有低频的信号。
根据本发明的优选实施方式，向所述调制的基频施加扰动包括在所述调制的所述基频的+/-5％的区间内，优选地在所述调制的所述基频的+/-1.5％的区间内，更优选地在所述调制的所述基频的+/-0.1％的区间内修改所述调制的所述基频。区间的大小影响谐波中的能量在频谱中多强地扩展，因此影响频谱中尖峰的能量密度。区间越大，谐波的能量密度就越低。这会导致TOF传感器或TOF摄像机能够更容易地与EMC规则兼容。
在本发明的优选实施方式中，在一系列获取(acquisition)中测量场景的飞行时间信息。对这些不同的获取的组合允许去除环境光和去除物体反射以及其他影响飞行时间测量的来源。获取的结果是确定发射光和接收光之间的时间延迟或相位变化。用于这种获取的步骤包括：以给定的顺序相继地执行向场景发射周期性光信号并从场景接收周期性光信号的反射至少两次，以及估计步骤，其对接收到的周期性光信号的反射的飞行时间信息进行估计并且估计步骤包括针对从场景对周期性光信号的反射进行接收的步骤的所有表现对接收到的周期性信号进行积分。通过在反射的周期性光信号的持续时间上对接收到的反射进行积分可以更精确地估计飞行时间。即使来自物体的周期性光信号的反射具有低强度，也能够容易地检测来自远离的物理的反射。因此，能够覆盖具有远离物体和近距离物体的“深度”场景。此外，积分的估计会导致对在持续时间上接收到的反射进行平均，其可避免孤立的误差。优选地，对发射周期性光信号和从场景接收反射的步骤的至少三个表现的反射执行积分。当针对确定一次飞行距离，周期性光信号的频谱内容在测量周期上发生改变时会发生问题。由此本发明的方法和设备适于在获得一次距离确定所需的完整测量周期上保持相同的频谱内容。
首先，根据本发明优选实施方式，通过使用相同的频率获得进行飞行时间测量所需的所有获取。平均频率优选地是这样的频率，由于施加的扰动，基频在该频率附近发生改变。这要求均衡或中心扩展的扰动。基本相同的平均基频允许对接收到的发射进有效深度信息的周期性光信号的反射进行精确处理。
在本发明优选的实施方式中，进行飞行时间测量所需的各个获取都经历相同的周期性光信号，该周期性光信号包括基频信号的相同扰动。结果是对于各个获取具有相同的频谱内容。扰动是可以是已知的并且是基频改变的重复序列，并且采用针对在TOF测量中的全部获取物相同的方式将该已知的扰动序列施加到基频。因此，由于频率扰动是周期性的并且测量持续时间是扰动周期的整数倍或半整数倍，所以周期性光信号的发射总是开始于扰动周期内的扰动信号中的相同位置或者具有半周期偏移。由于半周期加上周期的整数倍与周期的整数倍加上半周期相同，因此也可以提供作为纯正整数的相同频谱内容。
当基频和扰动频率之间的差别大时，由于引入的误差非常小，所以不需要在基频周期和扰动周期之间进行同步。因此，相同的“频谱内容”与“完全相同的频谱内容”不是同义的。优选地，任何差别小于系统的底噪声。例如，小于0.1％或0.01％量级的差别是可以接受的。当需要额外的精确度时，本发明并不排除基准周期和扰动周期之间的同步。
优选地，可以使用连续的扰动。根据本发明另一实施方式，扰动是是施加到周期性光信号的基准频率上的非连续调制。其仅要求扰动调制时周期性重复的信号并且得知最终加扰信号的平均频率。优选地，平均频率是中心频率。
附图说明
在附图中解释了本发明优选的实施方式。这些实施方式仅是示例性的，即，这些实施方式不是为了限制权力要求的内容和保护范围。
图1示出了飞行时间摄像机的EMC测量。
图2示出了根据本发明实施方式的调制信号和较低频率扰动信号的时序图。
图3示出了根据本发明实施方式的调制信号的时序图。
图4示出了根据本发明实施方式的飞行时间摄像机的示意图。
图5示出了根据本发明实施方式的飞行时间摄像机的定时模块的示意图。
图6示意性示出了根据本发明实施方式的TOF摄像机的实现。
具体实施方式
关于特定实施方式将会参考某些附图描述本发明，但是本发明并不局限于此而应当受权利要求的限制。描述的附图仅是示例性的并且不是限制性的。附图中，放大了一些元件的尺寸并且为了示例性目的没有按比例绘制。当指代单数名词时采用例如“一”或“该”，除非特别指出其他情况，其包括多个该名词。在不同附图中，相同的附图标记指代相同或相似的元件。附图中的说明是示例性的。
权利要求中使用的词语“包括”不应解释为受限于以下列出的装置或步骤，其不排除其他组件或不重。因此“设备包括装置A和B”的表达不应局限于仅包括组件A和B的设备。其意味着关于本发明仅与设备相关的组件是A和B。
此外，说明书或权利要求中的词语第一、第二、第三或类似表达用来区分相似的元件，并且没有必要用于描述连续的顺序或按时间的顺序。应当理解，这样使用的这些词语在适当的条件下可相互交换，并且这里描述的本发明实施方式能够以除了在这里解释或描述以外的其他顺序操作。
此外，出于描述性目的使用说明书和权利要求中的词汇上、下，在上面，在下面或类似表达并且没有必要描述为相对位置。应当理解，这样使用的这些词汇可在适当条件下相互转换，并且这里所描述的发明的实施方式能够以除了这里描述或说明以外的其他方向操作。
将会参考TOF摄像机来描述本发明，但是本发明也包括提供遵循飞行时间原理工作的任何类型的测距装置，例如仅具有一个像素的TOF传感器。此外，TOF摄像机或TOF传感器不必具有集成光源。可分别提供光源及其电源以及驱动器，并且摄像机或传感器仅需包括提供用于调制光源的信号的电路。
下面将参考图5来描述本发明的实施方式，图5是TOF摄像机使用的定时模块20的示意框图。该实施方式包括在10MHz至320MHz范围内(例如80MHz下)运行的净系统时钟22(cleansystemclock)，并被称作“净时钟”。净时钟22的时钟信号被发送到利用周期性扩展函数对该时钟信号的频谱进行扩展的扩展频谱块24，该时钟信号被称作“扰动频率调制信号”。可选地，其他组件诸如滤波片、波整形器、频率转换器、锁相环路等也可放置在净时钟22与扩展频谱块24之间。该扩展频谱块的输出被称作“扩展时钟信号”。可选地，也可以在扩展频谱块后放置诸如滤波片和波整形器的其他组件以生成具有理想波形诸如正弦曲线的调制信号。
扰动频率在调制基频的+/-5％内，优选地在调制基频的+/-5或+/-1.5％的区间内，或者在调制基频的+/-0.1％的区间内。周期性扰动例如可具有正弦曲线波形或三角波形或锯齿形。
定时模块20可设置为向光源提供非连续调制。
扩展时钟信号被混合信号和照明生成块26所使用，后者通常以大约1/2或1/4的频率生成所需的TOF光源驱动信号。这些TOF信号包括被称作“光调制信号”的用于调制光源的信号，以及传感器为了能够对由场景反射的入射光进行解调所需的混合信号。因此，相同的TOF定时信号被发送到包括光源的照明单元和用来检测接收到的反射光的检测器。可选地，其他组件诸如滤波片和波整形器可放置在混合信号和照明生成块26之后以生成具有理想波形诸如正弦曲线的调制信号。
为了让飞行时间原理保持有效，这些TOF信号可以经过调频，但是它们的平均频率必须是已知的。此外，因为每一个单个TOF距离测量都由从多个获得周期推导出的多个积分(integration)组成，所以在这多个积分期间该平均频率必须是相同的。在这多个积分在时间上连续发生的情况下，这将成为一个重要的要求。在这种情况下，如果在多个测量期间平均频率没有保持相同，那么最终计算出的距离将会是错误的，或者对距离的计算将会变得非常困难或不精确。
定时块28负责确保平均频率在多个积分期间保持相同。在本发明的一个方面，这是通过确保积分时间正好是整数个扰动频率调制信号周期来实现的。在扰动频率调制信号是对称信号(例如正弦波或三角波)的情况下，也可以将积分时间当做扰动频率调制信号的半周期的整数倍。定时块28优选地从系统时钟22接收净时钟信号，定时块28使用该净时钟信号来确定各个积分时间具有相同数量的施加到光源的脉冲，因此平均频率是常数。
此外，在一个积分时间、一组积分时间的测量持续时间或多个测量持续时间所使用的施加到光源的周期性信号具有与在该组的任何其他测量时间使用的周期性信号相同的频谱内容。
此外，存在于场景中的背景光(例如阳光、环境光)会降低或破坏所获得的深度测量的有效性，因此优选地采取特殊手段，即在每个连续积分期间由传感器接收完全相同量的背景光。因此，在连续的积分期间使用的TOF信号必须具有相同的频谱内容，并且它们优选地必须与背景光对准。
这两个要求都可以通过使用定时块20来得到满足，该定时块28利用净时钟信号来确保在各个积分相位期间的平均频率保持相同以及确保积分相位与环境光完全对准。例如，典型地采用50Hz或60Hz电源频率，所以来自灯的背景光会具有与这两个公共频率相关的频率分量。50Hz的背景光具相比于60Hz的背景光不同的最佳定时设置。
扩展频谱的应用对整个系统的EMI性能有积极影响，同时其对系统噪声性能(抖动)有很小的负面影响。有利地是如果混合块26适合于允许动态增长或减小扰动频率，有效地增加或减小扩展频谱影响，那么可以扩展以上描述的结构。这样的特征对于工厂或现场校准是有用的。如在本发明实施方式中实施的一样，按在EIMI限度内依然存在，但是扩展频谱影响是最小的。
根据另一个实施方式，可以根据施加到光源上的功率来设置扰动调制。在引起小EM辐射的低功率模式下，为了提供针对该模式的最佳权衡，可由混合块28使用较低频率的调制算法。
现在参见图4，可以看到根据本发明一个实施方式的飞行时间摄像机1，该飞行摄像机1也称作TOF摄像机1。飞行时间摄像机1包括具有至少一个光源2的照明单元，在本发明的该实施方式中该光源2是LED，光源2用于向场景发射周期性信号光信号，例如具有依赖于光源特性的波长和频率的调制光脉冲。也可以采用其他光源，例如OLED、激光二极管、激光等。
光源2连接至调制单元3，后者向光源提供加扰的调制信号以对其调制。为了实现对加扰的调制信号的可靠控制，调制单元可被提供为在芯片上实现。
飞行时间摄像机还包括调制时钟或“净时钟”4以及扰动时钟5，这两者都与调制单元13连接。如在图2的上方时间标尺中所示，调制时钟4向调制单元13提供用于频率调制的作为基频的时钟信号，并且扰动时钟5向调制单元3提供进一步的时钟信号用作调制单元13的扰动信号。扰动时钟5提供扰动频率低于用于频率调制的基频的扰动信号。
其他组件诸如滤波片、波整形器、频率转换器、锁相环路等可放置在时钟4、5与调制单元3之间。其他组件诸如滤波片或波整形器可放置在调制单元3后以生成诸如方波或正弦波的周期性信号。
施加到调制单元3中的调制基频上的扰动使调制基频在调制基频的+/-5％的区间内、优选地在调制基频的+/-1.5％的区间内、更优选地在调制基频的+/-0.1％的区间内改变。如图2所示，在标记的时间点t1、t2、t3和t4，就其相位而言，扰动分别从0°变化至90°、180°和270°。
在本发明的该示范实施方式中，光源2、调制单元3、调制时钟4和扰动时钟5是飞行时间摄像机1的单独组件，但是也可以在变型实施方式中提供包括至少两个上述组件的功能组。
飞行时间摄像机1还包括具有接收器单元7、估计单元8和处理单元9的接收组6。接收组6可选地与扰动时钟5连接以接收扰动信号。接收组6也可以与调制单元3的作为基准信号的输出相连接。虽然在本发明该实施方式中一起提供形成接收组6的接收器单元7、估计单元8和处理单元9，但是在本发明的变型实施方式中它们也可以提供为更小功能组的单独功能单元。
接收器单元7可包括没有在图4中明确示出的多个光接收位置，该多个光接收位置也可以称作多个像素。TOF摄像机1还包括在图4中未示出的光学系统。通过该光学系统，从光源2发射出的周期性光信号可被引导至场景，并且场景中物体的反射可被引导至接收器单元7中的不同像素。因此，不同的像素可同时地从不同的物体独立地接收反射。
在考虑调制单元的输出和/或从扰动时钟5提供的扰动信号的条件下，估计单元8估计针对接收单元7的各个像素单独接收到的反射的飞行时间。
处理单元9针对各个像素或各组像素从由估计单元8提供的飞行时间信息推导出距离信息，并且经由接口(图4中未示出)向用户或其他处理装置提供该信息。
以下将会详细描述提供场景距离信息的过程。
该方法首先向场景发射来自光源2的诸如调制光脉冲的周期性光信号。诸如调制光脉冲的周期性光信号是利用由调制单元3提供的调制信号生成的。图3示出了扰动时钟5的频率信号(上方的图)和从调制单元3至光源2的调制信号(下方的图)的示例。图3的上部图表示根据施加的扰动，来自调制单元3的调制信号的周期性光信号的频率随时间的变化。如图3的下部图所示，因此，以不同频率和长度向光源2提供频率调制信号的脉冲(以形成周期性光信号)。
接下来，由接收单元7经由光学系统从场景接收诸如光脉冲的周期光信号的反射。反射是由存在于场景中的物体产生的。
重复发射诸如调制光脉冲的周期性光信号和从场景接收反射的步骤，并且接收的反射被估计单元8积分。如图2的下部图所示，对调制光脉冲的反射的接收可始于标记为t1、t2、t3和t4的时间点。如图2所示，在该例子中对诸如调制光脉冲的周期性光信号的反射的接收总是始于扰动频率调制信号的波峰，因此总是起始于扰动频率调制信号的相同位置。在本发明的该实施方式中接收被执行了扰动调制信号的整数倍(例如6个整周期)的测量时间，并且这些扰动调制信号的第一个被标记为“测量”。因此，针对在相同数量的整个扰动周期上的每次执行来持续(span)从场景接收周期性调制信号(例如调制光脉冲)的反射的步骤，并且如图2所示，扰动周期的长度比光脉冲的各个接收的测量时间要短。此外，该操作提供了：在向场景发射周期性光信号(例如经调制的光信号)的所有次中，向光源2提供的调制信号的平均频率基本相同。
在本发明的该示范实施方式中，相继估计被标记为“测量”的四个整数区间。在另选的实施方式中，接收到的反射可以在接收器单元7中被同时全部积分。
考虑施加到周期性光信号的基频上的扰动，估计单元8针对所有像素来估计接收到的周期性光信号(例如调制光信号)的反射的飞行时间信息并向处理单元9提供飞行时间信息。处理单元9针对所有像素或所有像素组从提供的飞行时间信息推导出距离信息，并且将该信息作为场景的距离信息提供以备进一步处理。因此，将场景的距离信息作为四个积分区间上的平均来提供。接收组6利用被标记为“读出”的时间来处理接收到的反射。
根据本发明实施方式，对飞行时间摄像机1的EMC测量的最终频谱具有在至少一部分频率范围上更均匀提供的峰值能量。
图6示出了根据本发明的TOF摄像机或测距系统的另一实施方式。测距系统包括用于向场景55发射周期性光51的光源49，该光源优选地被聚焦在关注区域，在该区域光被反射。测距系统还包括用于接收反射光的至少一个像素31。为了让光源发射调制光，提供信号发生器43。信号发生器43在节点48生成优选地以诸如大约10MHz的预定平均频率持续振荡的第一扩展频谱加扰时钟信号或调制信号。该信号发生器43还生成分别被传送到节点44、45、46和47的类似的第二至第五扩展频谱加扰时钟信号(例如来自单个扩展频谱时钟发生器43)，其中关于扰动周期，第二至第五扩展频谱加扰时钟信号与节点48上的第一时钟信号具有0°、180°、90°和270°的相位关系。本领域技术人员也可以考虑在运行方案中使用其他的或更多的时钟相位，更多的时钟相位会导致以更长的测量时间为代价得到更高的测量精度。扰动频率在基频的+/-5％的区间内，优选地在基频+/-5％或+/-1.5％的区间内，或者在调制基频的+/-0.1％的区间内。周期性扰动例如可具有正弦波形或三角波形。
信号发生器43也能够产生控制信号41，控制信号41被确定以供调制信号变化装置来改变调制信号，例如被确定以供选择器58在第二至第五扩展频谱加扰时钟信号之间进行选择，即在时钟信号的不同相位之间进行选择的控制信号41。选择器58在这四个相位之间依次切换，并且选择器58将混合器级200和检测器的混合器29的输入节点42与节点44、45、46和47上的第二至第五时钟信号依次连接。在这些位置中的每一个上选择器58都能够保持连接达弛豫周期，例如大约1ms。
可生成进一步的控制信号以确定在脉冲序列中测量发生和测量终止的位置。可选地，系统确保对于每个积分时间使用完全相同数量的扰动信号的周期。由于只要在半周期的整数倍上测量，频谱内容就不会受到影响，所以可以在扰动信号的相同时刻(相位)开始测量。
缓冲器50驱动光源49，其中光源49向场景55发射它的光51，优选地，光源被聚焦在关注区域。该光的一部分将会被反射从而产生反射光52。然后该反射光52到达光学聚焦系统(例如透镜56)，反射光通过该光学聚焦系统被成像或被聚焦至像素31内部的检测器28，其中该入射部分被称作反射调制光(ML)27。
都来自次级光源30并且不是为了TOF测量的间接光53和直接光54也将会出现在该场景中并且会入射到光学聚焦系统56上，从而聚焦在检测器28上。进入检测器20的该光的一部分将会被称作背景光(BL)26。产生BL的光源30包括白炽灯、TL灯、太阳光、日光，或者在场景中出现但不是为了TOF测量的从光源49发出的任何其他光。本发明的目的是即便存在来自BL26的信号也可以获得有效的TOF测量。
ML27和BL26分别入射到光检测器28并生成ML-电流和BL-电流，该ML-电流和BL-电流是响应于入射的BL26和ML27的入射光电流。检测器28将这些电流输出给随后的混合装置(例如混合器29)，以将BL26和ML27的电流响应与输入节点42上的相移时钟信号进行混合。如之前已经描述的，该BL26能够引起比ML27引起的所接收的用于TOF测量的ML-电流高6个数量级的BL-电流。
形成检测器和混合器级200的检测器28和混合器29也可以形成为一个单个装置，例如在EP1513202A1中所描述的，在该专利中，光生电荷被混合以一次性地生成最终的混合电流。
检测器和混合器级200将会利用相移时钟信号生成入射的BL26和ML27的电流响应的混合乘积(mixingproducts)，并且通过采用积分器在节点38上积分这些信号，例如采用电容器25(优选地很小)实现积分，例如周围晶体管的寄生电容。在积分期间对积分节点38上的混合器输出信号进行自动重置。
例如，这可以通过对重置开关(例如重置晶体管)进行触发的比较器33来实现，使得只要达到了基准值Vref，节点38上的混合器输出信号就会被自动重置，从而避免饱和。
在另选的实施方式中(未在附图中示出)，可以通过多种其他方式实现积分器节点38上的混合器输出信号的自动重置。其中一个方式是触发充电泵而不是重置开关32以向电容器25增加固定量的电荷，其以更多的复杂性为代价来换取更好的噪声特性。
形成混合器输出信号的混合乘积在积分器节点38上具有与调制信号改变装置(例如选择器58)同步的有顺形式。输出驱动器24(例如缓冲器)提供大概为1的电压增益和电流放大以便在输出节点23上提供更强的输出信号。
各种变型都包含于本发明的保护范围中，例如对光脉冲应用非连续扰动调制。此外，本发明的系统可适于动态增加或降低扰动频率。此外，当光脉冲的功率低时，可以降低扰动频率。

Claims (13)

1.一种利用飞行时间传感器或摄像机(1)来提供场景的距离信息的方法，该方法包括以下步骤：
根据基于时钟定时的调制信号向所述场景发射周期性光信号，所述时钟定时具有通过周期性扰动进行了扩展的基频，所述周期性扰动具有扰动频率和周期；
从所述场景接收所述周期性光信号的反射；
根据所述调制信号在一组多个测量持续时间上估计所接收到的所述周期性光信号的反射的飞行时间信息，其中，估计所接收的所述周期性光信号的反射的飞行时间信息的步骤包括在所述一组多个测量持续时间中的每一个测量持续时间上对接收到的所述周期性光信号的反射进行积分，并且对结果进行组合；以及
从所接收到的反射的所述飞行时间信息推导出距离信息，其中，所述一组多个测量持续时间中的每个测量持续时间都是所述扰动周期的整数倍或半整数倍，并且在所述一组多个测量持续时间上平均基频保持恒定。
2.根据权利要求1所述的方法，其中，在所述一组多个测量持续时间中的一个测量持续时间上采用的所述调制信号与在所述一组多个测量持续时间中的任何其他测量持续时间上采用的所述调制信号具有相同的频谱内容。
3.根据权利要求1所述的方法，其中，施加了非连续扰动调制。
4.根据权利要求1所述的方法，该方法还包括以下步骤：动态地增大或减小所述扰动频率。
5.根据权利要求1所述的方法，该方法还包括以下步骤：降低所述周期性光信号的功率并减小所述扰动频率。
6.根据权利要求1所述的方法，其中，所述周期性光信号是脉冲信号或正弦信号。
7.根据权利要求1所述的方法，其中，所述扰动频率在所述调制信号的所述基频的区间内。
8.根据权利要求7所述的方法，其中，所述扰动频率在所述调制信号的所述基频的+/-5％的区间内。
9.根据权利要求7所述的方法，其中，所述扰动频率在所述调制信号的所述基频的+/-1.5％的区间内。
10.根据权利要求7所述的方法，其中，所述扰动频率在所述调制信号的所述基频的+/-0.1％的区间内。
11.一种用于从场景提供距离信息的测距装置，所述测距装置与用于向所述场景发射周期性光信号的光源一起使用，所述测距装置包括：
调制单元(3)，其用于基于时钟定时提供针对所述光源的调制信号，所述时钟定时具有通过周期性扰动进行了扩展的基频，所述周期性扰动具有扰动频率和周期；
接收组(6)，其具有接收器单元(7)、估计单元(8)和处理单元(9)，所述接收组(6)与所述调制单元相连接以接收所述调制信号；
所述估计单元(8)被设置为根据通过所述周期性扰动进行了扩展的所述时钟定时在一组多个测量持续时间上估计从所述场景接收到的反射的飞行时间信息，其中，所述估计单元(8)还被设置为在所述一组多个测量持续时间中的每一个测量持续时间上对接收到的所述周期性光信号的反射进行积分，并且对结果进行组合；
所述处理单元(9)被设置为从由所述估计单元(8)提供的所述飞行时间信息推导出距离信息，其中，所述一组多个测量持续时间中的每个测量持续时间都是所述扰动周期的整数倍或半整数倍，并且在所述一组多个测量持续时间上平均基频保持恒定。
12.根据权利要求11所述的测距装置，所述测距装置进一步被设置为根据权利要求2至10中任一项所述的方法从场景提供所述距离信息。
13.一种与用于向场景发射周期性光信号的光源一起使用的飞行时间传感器的定时模块，所述飞行时间传感器用于从场景提供距离信息，所述飞行时间传感器根据调制信号发射周期性光信号，所述飞行时间传感器被设置为用于从所述场景接收所述周期性光信号的反射，并用于通过在一组多个测量持续时间中的每一个测量持续时间上对所述反射进行积分并且对结果进行组合来估计所述反射的飞行时间信息，所述定时模块包括：
调制单元(3)，其用于提供针对所述光源的具有提供时钟信号的时钟(22)的所述调制信号，所述时钟信号具有通过扩展频谱块(24)的周期性扰动进行了扩展的基频，所述周期性扰动具有扰动频率和周期，并且所述扩展频谱块(24)提供扩展时钟信号；
所述调制单元被设置为根据通过所述周期性扰动进行了扩展的所述时钟信号在所述一组多个测量持续时间上提供所述调制信号，
其中，所述一组多个测量持续时间中的每个测量持续时间都是所述扰动周期的整数倍或半整数倍，并且在所述一组多个测量持续时间上平均基频保持恒定。
CN201280034752.9A 2011-07-15 2012-07-12 用于提供距离信息的飞行时间摄像机及方法 Active CN103748479B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1112256.1 2011-07-15
GB1112256.1A GB2492848A (en) 2011-07-15 2011-07-15 Optical distance measurement
PCT/EP2012/063696 WO2013010913A1 (en) 2011-07-15 2012-07-12 Method and time-of-flight camera for providing distance information

Publications (2)

Publication Number Publication Date
CN103748479A CN103748479A (zh) 2014-04-23
CN103748479B true CN103748479B (zh) 2016-04-20

Family

ID=44586720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280034752.9A Active CN103748479B (zh) 2011-07-15 2012-07-12 用于提供距离信息的飞行时间摄像机及方法

Country Status (9)

Country Link
US (3) US9599712B2 (zh)
EP (1) EP2712426B1 (zh)
JP (1) JP6228537B2 (zh)
KR (1) KR101580571B1 (zh)
CN (1) CN103748479B (zh)
BE (1) BE1020078A3 (zh)
GB (1) GB2492848A (zh)
TW (1) TWI534452B (zh)
WO (1) WO2013010913A1 (zh)

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2492848A (en) 2011-07-15 2013-01-16 Softkinetic Sensors Nv Optical distance measurement
US9667883B2 (en) 2013-01-07 2017-05-30 Eminent Electronic Technology Corp. Ltd. Three-dimensional image sensing device and method of sensing three-dimensional images
US9182490B2 (en) 2013-11-27 2015-11-10 Semiconductor Components Industries, Llc Video and 3D time-of-flight image sensors
US10705192B2 (en) 2014-03-14 2020-07-07 Ams Sensors Singapore Pte. Ltd. Optoelectronic modules operable to recognize spurious reflections and to compensate for errors caused by spurious reflections
WO2015136099A2 (en) 2014-03-14 2015-09-17 Mesa Imaging Ag Optical imaging modules and optical detection modules including a time-of-flight sensor
US9681123B2 (en) 2014-04-04 2017-06-13 Microsoft Technology Licensing, Llc Time-of-flight phase-offset calibration
US9360554B2 (en) 2014-04-11 2016-06-07 Facet Technology Corp. Methods and apparatus for object detection and identification in a multiple detector lidar array
US9658336B2 (en) 2014-08-20 2017-05-23 Omnivision Technologies, Inc. Programmable current source for a time of flight 3D image sensor
US9578311B2 (en) 2014-10-22 2017-02-21 Microsoft Technology Licensing, Llc Time of flight depth camera
KR102240817B1 (ko) * 2015-01-21 2021-04-16 주식회사 히타치엘지 데이터 스토리지 코리아 티오에프 카메라에서 깊이 지도 생성 방법
US9874630B2 (en) * 2015-01-30 2018-01-23 Microsoft Technology Licensing, Llc Extended range gated time of flight camera
KR102272254B1 (ko) * 2015-02-13 2021-07-06 삼성전자주식회사 위상 검출 픽셀을 이용하여 깊이 맵을 생성하기 위한 영상 생성 장치
EP3095710B1 (en) * 2015-05-20 2018-01-03 Goodrich Lighting Systems GmbH Dynamic exterior aircraft light unit and method of operating a dynamic exterior aircraft light unit
US9819930B2 (en) * 2015-05-26 2017-11-14 Omnivision Technologies, Inc. Time of flight imaging with improved initiation signaling
US9945936B2 (en) * 2015-05-27 2018-04-17 Microsoft Technology Licensing, Llc Reduction in camera to camera interference in depth measurements using spread spectrum
US11067691B2 (en) 2015-11-13 2021-07-20 Ams Sensors Singapore Pte. Ltd. Acquisition of distance data with optical ranging systems
EP3193190B1 (en) * 2016-01-15 2023-04-12 Sony Depthsensing Solutions N.V. A detector device with majority current and a circuitry for controlling the current
EP3414599B1 (en) * 2016-02-08 2019-12-18 Denso Corporation Time-of-flight distance measuring device and method for detecting multipath error
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
US10462452B2 (en) * 2016-03-16 2019-10-29 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
US10598783B2 (en) 2016-07-07 2020-03-24 Microsoft Technology Licensing, Llc Multi-frequency unwrapping
EP3301477A1 (en) * 2016-10-03 2018-04-04 Xenomatix NV System for determining a distance to an object
KR102035019B1 (ko) * 2017-09-20 2019-10-22 주식회사 유진로봇 거리 측정 장치, 시간 디지털 변환기, 및 이동체
US10557965B2 (en) 2016-12-02 2020-02-11 Stmicroelectronics (Grenoble 2) Sas Device, system, and method for detecting human presence
CN110114246B (zh) * 2016-12-07 2022-03-01 乔伊森安全系统收购有限责任公司 3d飞行时间有源反射感测系统和方法
US10147193B2 (en) 2017-03-10 2018-12-04 TuSimple System and method for semantic segmentation using hybrid dilated convolution (HDC)
US11525918B2 (en) * 2017-04-04 2022-12-13 pmdtechnologies ag Time-of-flight camera
US10739447B2 (en) * 2017-04-20 2020-08-11 Wisconsin Alumni Research Foundation Systems, methods, and media for encoding and decoding signals used in time of flight imaging
US10645367B2 (en) * 2017-04-20 2020-05-05 Wisconsin Alumni Research Foundation Systems, methods, and media for encoding and decoding signals used in time of flight imaging
US10545222B2 (en) * 2017-05-08 2020-01-28 Velodyne Lidar, Inc. LIDAR data acquisition and control
US10762635B2 (en) 2017-06-14 2020-09-01 Tusimple, Inc. System and method for actively selecting and labeling images for semantic segmentation
WO2019039727A1 (ko) * 2017-08-21 2019-02-28 (주)유진로봇 거리 측정 장치 및 이동체
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US10762673B2 (en) 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10565457B2 (en) 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10953881B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10953880B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10649458B2 (en) 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
US10671083B2 (en) 2017-09-13 2020-06-02 Tusimple, Inc. Neural network architecture system for deep odometry assisted by static scene optical flow
US10552979B2 (en) 2017-09-13 2020-02-04 TuSimple Output of a neural network method for deep odometry assisted by static scene optical flow
CN107745697A (zh) 2017-11-16 2018-03-02 北京图森未来科技有限公司 一种自动清洁系统及方法
US10852402B2 (en) * 2017-12-07 2020-12-01 Texas Instruments Incorporated Phase anti-aliasing using spread-spectrum techniques in an optical distance measurement system
US11333763B2 (en) * 2017-12-22 2022-05-17 Sony Semiconductor Solutions Corporation Signal generation apparatus
US11312334B2 (en) 2018-01-09 2022-04-26 Tusimple, Inc. Real-time remote control of vehicles with high redundancy
EP3738106A4 (en) 2018-01-11 2021-09-08 TuSimple, Inc. MONITORING SYSTEM FOR AUTONOMOUS VEHICLE OPERATION
US10901087B2 (en) * 2018-01-15 2021-01-26 Microsoft Technology Licensing, Llc Time of flight camera
CN108270970B (zh) 2018-01-24 2020-08-25 北京图森智途科技有限公司 一种图像采集控制方法及装置、图像采集系统
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US10685244B2 (en) 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking
FR3078851B1 (fr) * 2018-03-07 2020-02-14 Teledyne E2V Semiconductors Sas Camera de vision a mesure de temps de vol optimisee pour environnement multi-cameras
CN110378185A (zh) 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
US10497738B2 (en) * 2018-04-20 2019-12-03 Omnivision Technologies, Inc. First photon correlated time-of-flight sensor
US11029397B2 (en) * 2018-04-20 2021-06-08 Omnivision Technologies, Inc. Correlated time-of-flight sensor
CN116129376A (zh) 2018-05-02 2023-05-16 北京图森未来科技有限公司 一种道路边缘检测方法和装置
US10565728B2 (en) 2018-06-01 2020-02-18 Tusimple, Inc. Smoothness constraint for camera pose estimation
FR3084136B1 (fr) * 2018-07-20 2021-01-29 Valeo Vision Dispositif lumineux matriciel avec estimation de temps de vol
US11023742B2 (en) 2018-09-07 2021-06-01 Tusimple, Inc. Rear-facing perception system for vehicles
US11019274B2 (en) 2018-09-10 2021-05-25 Tusimple, Inc. Adaptive illumination for a time-of-flight camera on a vehicle
AU2019339418A1 (en) 2018-09-13 2021-05-13 Tusimple, Inc. Remote safe driving methods and systems
JPWO2020079775A1 (ja) 2018-10-17 2021-09-16 日本電気株式会社 測距装置及び測距方法
EP3869230B1 (en) 2018-10-17 2024-03-06 NEC Corporation Distance measurement device and distance measurement method
US10942271B2 (en) 2018-10-30 2021-03-09 Tusimple, Inc. Determining an angle between a tow vehicle and a trailer
FR3090124B1 (fr) * 2018-12-14 2022-07-15 Valeo Comfort & Driving Assistance Capteur de temps de vol et système de surveillance comportant un tel capteur
CN111319629B (zh) 2018-12-14 2021-07-16 北京图森智途科技有限公司 一种自动驾驶车队的组队方法、装置及系统
US11500100B2 (en) 2019-04-15 2022-11-15 Microsoft Technology Licensing, Llc Time-of-flight measurements using linear inverse function
CN110221274B (zh) * 2019-05-09 2021-04-30 奥比中光科技集团股份有限公司 时间飞行深度相机及多频调制解调的距离测量方法
US11823460B2 (en) 2019-06-14 2023-11-21 Tusimple, Inc. Image fusion for autonomous vehicle operation
CN110361751B (zh) * 2019-06-14 2021-04-30 奥比中光科技集团股份有限公司 时间飞行深度相机及单频调制解调的降低噪声的距离测量方法
CN110320528B (zh) * 2019-06-14 2021-04-30 奥比中光科技集团股份有限公司 时间深度相机及多频调制解调的降低噪声的距离测量方法
CN112114322A (zh) * 2019-06-21 2020-12-22 广州印芯半导体技术有限公司 飞时测距装置及飞时测距方法
CN111158005B (zh) * 2019-12-30 2023-04-07 福瑞泰克智能系统有限公司 一种测距方法、装置及设备
KR20210123602A (ko) * 2020-04-03 2021-10-14 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
AU2021203567A1 (en) 2020-06-18 2022-01-20 Tusimple, Inc. Angle and orientation measurements for vehicles with multiple drivable sections
US11932238B2 (en) 2020-06-29 2024-03-19 Tusimple, Inc. Automated parking technology
US11726392B2 (en) 2020-09-01 2023-08-15 Sorenson Ip Holdings, Llc System, method, and computer-readable medium for autofocusing a videophone camera
TWI762387B (zh) * 2021-07-16 2022-04-21 台達電子工業股份有限公司 飛行測距裝置及其檢測方法
WO2023044449A1 (en) * 2021-09-17 2023-03-23 Banner Engineering Corp. Time of flight detection systems with efficient phase measurement
CN114881894B (zh) * 2022-07-07 2022-09-30 武汉市聚芯微电子有限责任公司 一种像素修复方法、装置、设备以及计算机存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7184130B1 (en) * 2004-07-15 2007-02-27 Exelys, Llc Method for improving the received signal to noise ratio of a laser rangefinder
CN101102108A (zh) * 2006-11-07 2008-01-09 威盛电子股份有限公司 时脉信号产生方法以及系统以及锁相电路
US7742556B1 (en) * 2005-09-13 2010-06-22 Marvell International Ltd. Circuits, methods, apparatus, and systems for recovery of spread spectrum clock

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4024540A (en) * 1976-03-12 1977-05-17 Cincinnati Electronics Corporation Continuous wave FM tone ranging radar with predetection averaging
JPS6383686A (ja) * 1986-09-29 1988-04-14 Matsushita Electric Ind Co Ltd レ−ザ−測距装置
JP2757638B2 (ja) * 1991-12-24 1998-05-25 三菱電機株式会社 車間距離検知装置
JPH0743468A (ja) * 1993-07-28 1995-02-14 Hamamatsu Photonics Kk 高精度時間間隔測定装置
JPH085733A (ja) * 1994-06-22 1996-01-12 Hitachi Ltd レーダ装置
US6088086A (en) * 1995-09-11 2000-07-11 Sandia Corporation Range determination for scannerless imaging
JPH1025082A (ja) * 1996-07-05 1998-01-27 Mitsubishi Denki Bill Techno Service Kk エスカレータ踏段における溝内の異物検出装置
JPH1068776A (ja) * 1996-08-27 1998-03-10 Sokkia Co Ltd 距離測定方法
JP2002526989A (ja) * 1998-09-28 2002-08-20 スリーディーヴィー システムズ リミテッド カメラを用いた距離測定
US6522395B1 (en) * 1999-04-30 2003-02-18 Canesta, Inc. Noise reduction techniques suitable for three-dimensional information acquirable with CMOS-compatible image sensor ICS
JP2001021651A (ja) * 1999-07-06 2001-01-26 Hitachi Engineering & Services Co Ltd トンネル内壁検査方法および装置
JP2001280927A (ja) * 2000-03-30 2001-10-10 Fuji Xerox Co Ltd ３次元形状計測方法および装置
JP2005070960A (ja) * 2003-08-21 2005-03-17 Thine Electronics Inc 半導体集積回路
DE60331060D1 (de) 2003-09-02 2010-03-11 Univ Bruxelles Ein durch einen Strom aus Majoritätsträgern unterstützter Detektor für elektromagnetische Strahlung
JP2006074306A (ja) * 2004-09-01 2006-03-16 Renesas Technology Corp 半導体集積回路
EP1762862A1 (en) * 2005-09-09 2007-03-14 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Method and device for 3D imaging
JP4104624B2 (ja) * 2005-11-25 2008-06-18 シャープ株式会社 画像処理装置、画像読取装置及び画像形成装置
JP5461762B2 (ja) * 2006-11-30 2014-04-02 アズビル株式会社 距離計および距離計測方法
JP2008209298A (ja) * 2007-02-27 2008-09-11 Fujifilm Corp 測距装置及び測距方法
WO2009079789A1 (en) * 2007-12-21 2009-07-02 Leddartech Inc. Detection and ranging methods and systems
EP2116864A1 (en) * 2008-05-09 2009-11-11 Vrije Universiteit Brussel TOF range finding with background radiation suppression
JP5585903B2 (ja) * 2008-07-30 2014-09-10 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
US7963445B2 (en) * 2008-12-09 2011-06-21 Symbol Technologies, Inc. Arrangement for and method of suppressing electromagnetic radiation interference in an imaging reader
DE102009029372A1 (de) * 2009-09-11 2011-03-24 Robert Bosch Gmbh Messvorrichtung zur Messung einer Entfernung zwischen der Messvorrichtung und einem Zielobjekt mit Hilfe optischer Messstrahlung
GB2492848A (en) 2011-07-15 2013-01-16 Softkinetic Sensors Nv Optical distance measurement

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7184130B1 (en) * 2004-07-15 2007-02-27 Exelys, Llc Method for improving the received signal to noise ratio of a laser rangefinder
US7742556B1 (en) * 2005-09-13 2010-06-22 Marvell International Ltd. Circuits, methods, apparatus, and systems for recovery of spread spectrum clock
CN101102108A (zh) * 2006-11-07 2008-01-09 威盛电子股份有限公司 时脉信号产生方法以及系统以及锁相电路

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Discrete spread-spectrum sampling (DSSS) to reduce RF emission and beat frequency issues";Mart Coenen et al.;《2010 Asia-Pacific International Symposium on Electromagnetic Compatibility》;20100416;第342-345页 *

Also Published As

Publication number Publication date
US20140160461A1 (en) 2014-06-12
US20180164438A1 (en) 2018-06-14
KR20140056248A (ko) 2014-05-09
US20170212236A1 (en) 2017-07-27
EP2712426B1 (en) 2014-10-22
GB2492848A (en) 2013-01-16
TW201312144A (zh) 2013-03-16
US9921311B2 (en) 2018-03-20
CN103748479A (zh) 2014-04-23
BE1020078A3 (fr) 2013-04-02
EP2712426A1 (en) 2014-04-02
KR101580571B1 (ko) 2015-12-28
US9599712B2 (en) 2017-03-21
JP2014522979A (ja) 2014-09-08
JP6228537B2 (ja) 2017-11-15
GB201112256D0 (en) 2011-08-31
TWI534452B (zh) 2016-05-21
WO2013010913A1 (en) 2013-01-24
US10234560B2 (en) 2019-03-19

Similar Documents

Publication Publication Date Title
CN103748479B (zh) 用于提供距离信息的飞行时间摄像机及方法
JP5593479B2 (ja) バックグランド放射光の抑制に有利なｔｏｆ領域
US10802119B2 (en) Lidar device and method of measuring distance using the same
EP2729826B1 (en) Improvements in or relating to the processing of time-of-flight signals
JP2013076645A (ja) 距離画像生成装置および距離画像生成方法
JP2014522979A5 (zh)
CN111123289B (zh) 一种深度测量装置及测量方法
US11333760B2 (en) Frequency modulation for interference free optical time of flight system
CN109116369B (zh) 距离测量装置及其方法
US20210041541A1 (en) Phase anti-aliasing using spread-spectrum techniques in an optical distance measurement system
CN107272010B (zh) 距离传感器及其距离测量方法、3d图像传感器
US20210329218A1 (en) Camera
Jongenelen Development of a compact, configurable, real-time range imaging system
Davidovic et al. A 33× 25 µm 2 low-power range finder
KR102368105B1 (ko) 거리 정보 추출 장치 및 광학 기기
CN113424072A (zh) 飞行时间装置和方法
CN115701132A (zh) 一种用于减少图像传感器背景噪声的方法和像素电路

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant