CN108712245A - 飞行时间成像设备和用于调节参考频率的方法 - Google Patents

飞行时间成像设备和用于调节参考频率的方法 Download PDF

Info

Publication number
CN108712245A
CN108712245A CN201810194201.8A CN201810194201A CN108712245A CN 108712245 A CN108712245 A CN 108712245A CN 201810194201 A CN201810194201 A CN 201810194201A CN 108712245 A CN108712245 A CN 108712245A
Authority
CN
China
Prior art keywords
frequency
signal
sensor pixel
optical signal
external
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810194201.8A
Other languages
English (en)
Other versions
CN108712245B (zh
Inventor
H·波兰克
N·德鲁梅尔
A·施恩莱博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infineon Technologies AG
Original Assignee
Infineon Technologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infineon Technologies AG filed Critical Infineon Technologies AG
Publication of CN108712245A publication Critical patent/CN108712245A/zh
Application granted granted Critical
Publication of CN108712245B publication Critical patent/CN108712245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H04L7/0075—Arrangements for synchronising receiver with transmitter with photonic or optical means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/60—Receivers
    • H04B10/61—Coherent receivers
    • H04B10/616—Details of the electronic signal processing in coherent optical receivers
    • H04B10/6164—Estimation or correction of the frequency offset between the received optical signal and the optical local oscillator
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/60—Receivers
    • H04B10/61—Coherent receivers
    • H04B10/616—Details of the electronic signal processing in coherent optical receivers
    • H04B10/6165—Estimation of the phase of the received optical signal, phase error estimation or phase error correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

一种飞行时间成像设备包括被配置用于接收采用外部调制频率调制的外部光信号的多个传感器像素。飞行时间成像设备进一步包括被配置用于基于外部光信号和具有参考频率的参考信号产生传感器像素输出信号的像素电路装置。传感器像素输出信号具有取决于外部调制频率与参考频率之间差异的频率。飞行时间成像设备进一步包括被配置用于基于传感器像素输出信号调节参考信号的参考频率的同步电路。

Description

飞行时间成像设备和用于调节参考频率的方法
技术领域
示例涉及飞行时间系统，并且特别地涉及飞行时间成像设备和用于调节参考频率的方法。
背景技术
飞行时间(TOF)系统可以用于产生三维(3-D)图像。一般而言，TOF成像设备可以接收由TOF成像设备发出并由物体反射的光。基于接收到的反射光，TOF成像设备可以基于接收到的反射光和内部参考信号而确定与物体相关的深度信息和/或产生物体的3D图像。
发明内容
需要提供具有通信能力的飞行时间成像设备。
该需求可以由权利要求的技术方案满足。
一些实施例涉及飞行时间成像设备。飞行时间成像设备包括被配置用于接收采用外部调制频率而调制的外部光信号的多个传感器像素。飞行时间成像设备进一步包括被配置用于基于外部光信号和具有参考频率的参考信号而产生传感器像素输出信号的像素电路装置。传感器像素输出信号具有取决于外部调制频率与参考频率之间差异的频率。飞行时间成像设备进一步包括被配置用于基于传感器像素输出信号调节参考信号的参考频率的同步电路装置。
一些实施例涉及另一飞行时间成像设备。飞行时间成像设备包括被配置用于接收经调制的光信号的至少一个传感器像素。飞行时间成像设备进一步包括被配置用于基于利用参考信号解调经调制的光信号而产生传感器像素输出信号。飞行时间成像设备进一步包括被配置用于基于传感器像素输出信号产生具有经调节的参考频率的参考信号的同步电路装置。
一些实施例涉及一种用于调节参考频率的方法。方法包括由多个传感器像素接收采用外部调制频率而调制的外部光信号。方法进一步包括由像素电路装置基于外部光信号和具有参考频率的参考信号而产生传感器像素输出信号，其中传感器像素输出信号具有取决于外部调制频率和参考频率之间差异的频率。方法进一步包括由同步电路基于传感器像素输出信号调节参考信号的参考频率。
附图说明
以下将仅借由示例的方式并参考附图描述设备和/或方法的一些示例，其中
图1示出了飞行时间成像设备的示意图；
图2示出了传感器像素输出信号的图形表示；
图3A示出了由TOF成像设备执行的方法的流程图；
图3B示出了同步方法的至少一部分的图形示意；
图4A示出了第一TOF成像设备和第二TOF成像设备的示意图；
图4B示出了存在非明确的相位值的示意图；
图4C示出了缺乏非明确的相位值的示意图；
图4D示出了如果接收到具有0°或180°相移的外部光信号的传感器像素输出信号的图形示意；
图4E示出了如果接收到具有随机相移的外部光信号的传感器像素输出信号的图形示意；
图5示出了另一飞行时间设备的示意图；以及
图6示出了用于调节参考频率的方法的流程图。
具体实施方式
现在讲参照其中示出了一些示例的附图更全面描述各个示例。在附图中，为了清楚可以夸大线条、层和/或区域的厚度。
因此，尽管其他示例能够具有各种适配和备选形式，其一些特定示例示出在附图中并随后将详细描述。然而，该详细说明并未将其他示例限定于所述的特定形式。其他示例可以覆盖落入本公开范围内的所有适配例、等价形式和备选例。相同的数字遍及附图说明而涉及相同或类似地元件，当相互比较时其可以等同地或以适配的形式实施而同时提供相同或类似的功能。
应该理解，当元件被称作“连接”或“耦合”至另一元件时，元件可以直接地连接或耦合或者经由一个或多个插入元件。如果使用“或”组合两个元件A和B，应该理解为公开了所有可能的组合，也即仅有A、仅有B、以及A和B。对于相同组合的备选用词是“A和B的至少一个”。同理适用于多于2个元件的组合。
在此使用的术语为了描述特定示例的目的并非意在限制其他示例。当使用单数形式诸如“一”、“一个”和“该”并且不论明确或暗示定义仅单个元件为强制性时，其他示例也可以使用复数个元件以实施相同功能。同样，当功能随后描述为使用多个元件实施时，其他示例可以使用单个元件或处理实体而实施相同功能。应该进一步理解，当使用时术语包括(“comprises,”“comprising,”“includes”和/或“including”)规定了所述特征、整数、步骤、操作、工艺、动作、元件和/或成分的存在，但是并未排除一个或多个其他特征、整数、步骤、操作、工艺、动作、元件、成分和/或其任意群组的存在或添加。
除非另外定义，以示例所属领域普通含义而在此使用所有术语(包括技术和科技术语)。
图1示出了飞行时间成像设备100的示意图。
飞行时间成像设备100包括被配置用于接收采用外部调制频率调制的外部光信号102的多个传感器像素101。
飞行时间成像设备100进一步包括被配置用于基于外部光信号102和具有参考频率的参考信号103产生传感器像素输出信号105的像素电路装置104。传感器像素输出信号105具有取决于外部调制频率与参考频率之间差异的频率。
飞行时间成像设备100进一步包括被配置用于基于传感器像素输出信号105调节参考信号103的参考频率的同步电路装置106。
由于飞行时间(TOF)成像设备100包括用于调节参考信号103的参考频率的同步电路装置106。TOF成像设备100可以调节或适配其自己的参考频率103以适应于来自外部装置的外部光信号102的外部调制频率。这可以由于TOF成像设备100的参考频率与外部调制频率之间改进的同步而导致TOF成像设备100与外部装置之间的通信(例如加载数据的传输)更精确。当可以减少解码期间非明确的相位值的数目时，可以因此由TOF成像设备100更精确地解码由TOF成像设备100接收的数据信号中的加载数据信息。
可以希望在第一TOF成像设备100与第二成像设备之间建立通信。例如，第二成像设备可以希望发送包括加载数据(例如键控相移调制信息)的信号至第一成像设备100。然而，通常由于振荡器的频率不准确而在调制信号之间存在频率偏移。如果第一TOF成像设备100的参考频率并未与第二TOF成像设备的外部调制频率同步(例如存在频率不准确)，则非明确的相位值可以导致由第一成像设备100不精确解码接收到的加载数据。然而，因为第一TOF成像设备100能够调节其参考频率至第二TOF成像设备的外部调制频率，因此第一TOF成像设备100可以能够更精确地解码接收到的加载数据。
TOF成像设备100可以包括(或可以是)成像装置，可以被配置用于确定与物体相关的距离信息的装置，和/或可以被配置用于产生物体的三维图像的装置。例如，TOF成像设备100可以是相机，诸如飞行时间(TOF)相机。
在用于将参考信号103的参考频率调节至外部调制频率的同步处理期间，可以由多个像素101接收外部光信号102。由(第一)TOF成像设备100(例如由TOF成像设备100的多个像素101)接收的外部光信号102可以是由外部光源发出的光信号，由外部(或第二)飞行时间成像设备发出的光信号，和/或由外部光源发出并由物体反射的光信号。例如，可以由多个像素101接收通过空气(或穿过空气)的外部光信号102。
外部光信号102可以是脉冲光信号Plight。例如，外部光信号102可以采用外部调制频率调制。例如，外部光信号可以在外部调制频率的脉冲中(从外部装置)被发送。外部光信号102并非键控相移调制。例如，由多个传感器像素101接收的外部光信号102可以是固定(例如恒定)相位信号。例如，外部光信号102可以具有恒定的相位。外部光信号102可以包括或可以是红外电磁(EM)波信号(例如红外光)或可见电磁波(例如可见光)。红外EM波可以具有位于700nm和1mm之间的波长，并且可见EM波可以具有位于500nm和700nm之间的波长。
可以从并未由电线物理地连接至TOF成像设备100的外部装置(例如外部光源，或例如第二TOF成像设备)而接收外部光信号102。外部装置可以与TOF成像设备100电隔离，和/或可以在它们之间不传输额外的电信号。可选地，外部装置和TOF成像设备100可以连接至公共地。
外部装置的、负责发射(或被配置发射)具有外部调制频率的外部光信号的电路例如并未物理地连接至TOF成像设备100的同步电路装置。因此，外部光信号102可以采用与参考信号独立(例如并未基于其)的外部调制频率而被调制。例如，外部光信号102可以独立于TOF成像设备100的同步电路装置106而产生。例如，TOF成像设备100的同步电路装置106并未影响由TOF成像设备100接收的外部光信号102的外部调制频率。外部调制频率可以由于振荡器的频率不准确而不同于TOF成像设备100的参考频率。
多个传感器像素101可以是二维传感器像素阵列(或者其一部分)。多个传感器像素101中的一个(或每个)传感器像素101可以是(或可以称作)光子混合器件(PMD)像素。可选地，多个传感器像素101的一个(或每个)传感器像素101可以包括像素电路装置104中的至少一部分。每个传感器像素101中的像素电路装置104可以被配置作为光子混合器件(PMD)电路装置。例如，每个传感器像素101可以包括用于检测输入EM波的光电检测器电路装置。像素电路装置104的PMD电路可以被配置为使得像素电路装置104可以基于由传感器像素101接收的输入外部光信号102而得到传感器信号。例如，像素电路装置104可以被配置用于基于利用参考信号103解调外部光信号而产生传感器信号。
每个传感器像素(例如PMD像素)可以包括透明电荷收集光电门(photogate)，例如多个光电门。每个光电门可以包括产生区域，例如光敏区域，诸如耗尽区域或空间电荷区域，其中可以由接收到的光信号(例如，诸如具有固定相位的外部光信号和/或具有变化相位的其他光信号)产生光生电荷载流子。光生电荷载流子可以包括正电荷载流子例如空穴，或负电荷载流子例如电子。在产生区域中产生的光生电荷载流子的数目可以与当由所施加偏置信号偏置光电门时由光电门接收的光信号的强度成比例。
可以至少部分地由参考信号103控制多个传感器像素101的操作。例如，在多光电门传感器像素中，可以将具有不同相移的多个偏置信号施加至传感器像素的光电门。可以基于参考信号103得到多个偏置信号。
双光电门传感器像素可以具有第一光电门和第二光电门。可以由相对于参考信号103具有不同相移的偏置信号偏置传感器像素中每个光电门。例如，可以施加第一偏置信号(Mod-A)至第一光电门，并且可以施加第二偏置信号至第二光电门。可以基于参考信号103得到的第一偏置信号。第一偏置信号可以在偏置频率下偏置或切换传感器像素的第一光电门。偏置频率可以是基于或等于参考信号103的频率或者其倍数。可以基于参考信号103得到的第二偏置信号(Mod-B)。第一偏置信号可以在偏置频率下偏置或切换传感器像素额第二光电门。第二偏置信号可以具有与第一偏置信号相同的偏置频率。然而，第二偏置信号可以与第一偏置信号异相(例如与其180°异相，例如反相)。因此，第一偏置信号和第二偏置信号可以控制传感器电路的第一光电门和第二光电门，从而第一光电门和第二光电门交替地导通或关断。例如，当第二光电门切换至导通状态时第一光电门可以切换至关断状态，并且反之亦然。
当光信号进入光电门(或入射其上)时，可以在产生区域中产生电子空穴对。取决于施加至第一光电门和第二光电门的偏置信号，可以形成电势梯度，这可以引起电子朝向第一方向(例如从左至右)漂移并收集在第一电荷阱中，或者朝向第二方向(例如从右至左)漂移并收集在第二电荷阱中。读出二极管可以提供与累积在对应阱中电荷相关的信息。例如，在第一电荷阱附近第一读出二极管可以与在第一电荷阱中收集的电子数目相关的第一读出信号。额外的，在第二电荷阱附近第二读出二极管可以提供与第二电荷阱中收集的电子数目相关的第二读出信号。
像素电路装置104可以被配置用于基于传感器像素101的第一读出信号(Ua)和第二读出信号(Ub)而产生对应于多个传感器像素101的每个传感器像素101的传感器信号。例如，像素电路装置104可以被配置用于基于来自传感器像素101的第一光电门的第一读出信号以及来自(相同)传感器像素101的第二光电门的第二读出信号而得到传感器信号。第一读出信号可以包括与当接收外部光信号102时在由第一光电门控制(或可控制)的传感器像素的区域中所产生的光生电荷载流子数目成比例的电压值或电流值。第二读出信号可以包括与当接收外部光信号102时在由第二光电门所控制(或可控制)的传感器像素的区域中所产生的光生电荷载流子的数目成比例的电压值或电流值。
像素电路装置104可以被配置用于基于在第一读出信号和第二读出信号之间的差异(例如差分或例如相减)得到(和/或产生)传感器信号的相位信息值。传感器信号中的每个相位信息值可以包括与外部光信号102和参考信号103之间相移相关的信息。可以基于Ua和Ub之间相减(例如Ua-Ub)得到传感器信号的每个相位信息值。像素电路装置104可以被配置用于通过在同步过程(周期)期间计算多个相位信息值(例如多于100个相位信息值，例如多于1000个相位信息值)而得到传感器信号。
像素电路装置104可以被配置用于得到对应于每个传感器像素的传感器信号。多个传感器像素101中的传感器像素可以被配置用于并行(例如同时地)操作。例如，可以同时地施加偏置信号至多个传感器像素101中的每个传感器像素。因此，像素电路装置104可以被配置用于并行(例如同时地)产生多个传感器像素101中的多个传感器信号。
像素电路装置104可以被配置为基于外部光信号和由多个传感器像素101中的至少一个传感器像素101所接收的参考信号产生传感器像素输出信号105。可选地，像素电路装置104可以进一步被配置用于基于来自多个传感器像素101的多个传感器信号而产生传感器像素输出信号105。可选地，像素电路装置104可以被配置用于基于从多个传感器像素101的所有传感器像素得到的相位信息(例如传感器信号)而得到传感器像素输出信号。可选地或备选地，像素电路装置104可以被配置用于基于从多个传感器像素的传感器像素的子群组得到的相位信息(例如传感器信号)而得到传感器像素输出信号。例如，传感器像素的子群组是包括少于多个传感器像素的传感器像素总数目的50％(或例如少于30％)的传感器像素的二维阵列。传感器像素的子群组可以是从外部光信号102接收最高总光强度的传感器像素的二维阵列。可选地、备选地或额外地，像素电路装置104可以被配置用于基于从多个传感器像素的传感器像素得到的相位信息(例如传感器信号)而得到传感器像素输出信号，传感器像素从外部光信号102得到最高光强度。
像素电路装置104可以基于由多个传感器像素101中的传感器像素(例如传感器像素的子群组，或例如所有传感器像素)产生的平均传感器信号而得到传感器像素输出信号105。例如，可以由包含信号的平均N个相位值pi,j产生传感器像素输出信号的样本p。Z可以是用于从仅包含背景噪声的像素分类这些像素的值(例如实验确定的值)。
传感器像素输出信号可以包括关于外部光信号102与参考信号103之间的相位偏移的输出值。如果参考频率不同于外部调制频率，则传感器输出信号105可以具有非零的频率(非零频率)。例如，传感器像素输出信号105可以具有取决于外部调制频率与参考频率之间差异的频率。例如，如果外部调制频率与参考频率之间的频率偏移(或频率差)大于阈值(例如大于零)，则外部光信号与参考信号之间的测得相位值可以随时间而改变。例如，传感器像素输出信号105可以是具有频率(参见图2)的周期性信号(例如三角形周期信号)。
可以理解，尽管在此所述的示例涉及作为恒定相位信号的外部光信号102，但是可能的是具有多个不同相位偏移的外部光信号可以用于同步。如果TOF成像设备100接收具有不同相位偏移的外部光信号，则像素电路装置104可以被配置用于应用处理以对于每个传感器像素得到传感器信号。例如，像素电路装置可以应用方法以提取频率偏移(差异)，即使外部光信号具有不同的相位偏移(参见图4D和图4E)。
同步电路装置106可以被配置用于基于传感器像素输出信号105调节参考信号103的参考频率。例如，同步电路装置106可以被配置用于基于传感器像素输出信号105的频率而得到与外部调制信号和参考频率之间差异相关的频率偏移。同步电路装置106可以被配置用于通过以取样频率对传感器像素输出信号105取样得到频率偏移以确定传感器像素输出信号105的频率。同步电路装置106可以被配置用于得到频率偏移作为数字值，并且可以可应用于TOF成像设备100的控制电路(或例如处理系统)。这可以使能其他应用，诸如调节不同通信方的锁相环或当深度感测时避免干扰其他TOF系统。
同步电路装置106可以被配置用于基于得到的频率偏移而调节参考信号103的参考频率。例如，同步电路装置106可以被配置用于调节参考信号103的参考频率，从而传感器像素输出信号的频率降至阈值之下。阈值可以小于10Hz(或例如小于5Hz，或例如小于2Hz，或例如零Hz)。同步电路装置106可以被配置用于调节参考信号的参考频率，直至参考信号的参考频率等于外部参考频率和/或直至参考频率与外部参考频率之间的频率偏移降至阈值之下。例如，TOF成像设备100的同步电路装置106可以将其调制时钟微调或适配至发送外部光信号102的外部照明源(和/或外部TOF成像设备)的调制时钟。
同步电路装置106可以被配置用于调节参考信号103的参考频率，从而参考信号103具有经调节的参考频率。经调节的参考频率与外部参考频率之间的频率偏移可以小于阈值和/或经调节的参考频率可以等于外部参考频率。
同步电路装置106可以被配置用于基于频率偏移以调节值而改变(或调节)参考频率。调节值可以等于频率偏移，频率偏移的多倍，或者频率偏移与限制值的乘积。例如，同步电路装置106可以被配置用于通过分配频率偏移的符号而得到调节值(参见图3A和图3B)。额外地或可选地，同步电路装置106可以被配置用于迭代地改变参考频率直至(或因此)传感器像素输出信号的频率低于预定的阈值。
同步电路装置106可以包括(或可以是)被配置用于基于传感器像素输出信号105产生参考信号的频率产生电路(例如调制时钟源)(参见图4)。频率产生电路可以实施作为模拟或数字电路。频率产生电路可以包括被配置用于基于外部调制频率和参考频率之间的差异(例如基于由同步电路得到的频率偏移)产生具有经调节的参考频率的参考信号103。参考振荡器电路可以是可调谐晶体振荡器，其可以由基于所需频率偏移而得到的某些电气参数而可调谐或可配置。电气参数可以通过在TOF传感器芯片通孔I2C上编写PLL配置寄存器而设置。可选地，频率产生电路可以包括锁相环电路或延迟锁相环电路。因此，参考信号103可以是基于或可以是由参考振荡器电路产生的锁相参考振荡器信号。可选地，参考振荡器电路可以包括或是可以设置在与传感器像素阵列分立电路中的电压受控振荡器。参考振荡器电路可以被设置为并非是具有传感器像素阵列的成像器芯片的一部分。
同步电路装置106可以进一步包括相位偏移电路，其可以连接至频率产生电路。相位偏移电路可以被配置用于顺序地产生具有与参考信号相同频率、但是与参考信号相比不同相位偏移的多个偏置信号。例如，第一偏置信号可以具有相对于参考信号的第一相位偏移。随后的第二偏置信号与参考信号相比具有第二(不同的)相位偏移等等。
参考信号103可以是周期性信号，诸如正弦或方形信号。参考信号103可以具有参考频率fr，其可以位于1MHz至300MHz之间，例如在5MHz至100MHz之间，例如在5MHz至30MHz之间。参考信号103可以具有大于1MHz或大于数十MHz的频率。例如，参考信号fr的范围可以从大约1MHz至大约5MHz，或从大约1MHz至大约10MHz，或从大约1MHz至大约20MHz或更高。
同步电路装置106可以被配置用于提供参考信号103(和/或从参考信号103得到的信号)至多个传感器像素101。可以将多个偏置信号(基于参考信号103得到)顺序地施加至像素传感器阵列(例如至传感器阵列的每个传感器像素)。施加至光电门的参考信号103和/或多个偏置信号的频率和/或多个频率fr可以是基于或等于或者是经调节的参考信号的参考频率Fmod的倍数。
在同步过程之后，(例如在同步电路装置106已经调节了参考信号103的参考频率，从而传感器像素输出信号的频率降至阈值之下之后)，TOF成像设备101的调制时钟源可以与发射恒定相位的外部光信号102的外部TOF成像设备的调制时钟源同步。例如，参考信号103的经调节的参考频率可以等于外部调制频率和/或参考信号103的经调节的参考频率可以以小于10Hz而不同于外部调制频率(或例如小于5Hz，或例如小于2Hz，或例如零Hz)。
TOF成像设备101可以进一步包括可以连接至像素电路装置104的控制电路装置。控制电路装置可以被配置用于控制TOF成像设备101的发射电路。例如，如果传感器像素输出信号的频率降至阈值之下(或在其之后)，则TOF成像设备的控制电路装置可以控制发射电路以发射具有经调节的参考频率的经调制的光数据信号。经调制的光数据信号可以包括指示TOF成像设备101针对从外部TOF成像设备接收包括加载数据的外部经调制的光数据信号已准备就绪的信息。可以使用相移键控(PSK)调制采用加载数据对经调制的光数据信号编码。例如，经调制的光数据是具有不同相位偏移(例如0°,90°,180°和270°)的数据。可选地或备选地，可以替代于PSK调制而使用脉冲位置调制或开关键控调制。脉冲位置调制和开关键控调制也可以受益于同步过程，因为如果参考频率和外部频率未被同步，则它们也受非明确的相位值影响。例如，TOF相机的帧率可以大约7300fps，并且其可以需要每帧发射尽可能多的信息。例如，可以发射每帧(样本)2位。可选地，可以使用甚至其他调制方案，其可以达到每帧1位并且可以减小位率。可以由相移电路执行并由控制电路装置控制经调制的光数据信号的编码。
TOF成像设备100可以进一步被配置用于(从第二TOF成像设备)接收外部经调制的光数据信号。不同于在用于调节参考信号103的参考频率的同步过程期间接收的外部光信号，外部经调节的光数据信号并不必然具有恒定的相位。例如，可以使用相移键控(PSK)调制采用加载数据对外部经调制的光数据信号编码。TOF成像设备100的像素电路装置104可以被配置用于至少部分地基于具有经调节的参考频率的参考信号103而产生具有与所接收外部经调制的光数据信号相关的相位信息的传感器信号。TOF成像设备100的控制电路装置可以被配置用于得到由多个传感器像素101接收的外部经调制的光数据信号的加载数据。控制电路可以被配置用于基于具有经调节的参考频率的参考信号103得到加载数据。因为具有经调节的参考频率的参考信号103与所接收的外部经调制的光数据信号的外部调制频率同步，因此控制电路装置可以不采用非明确的相位值而解码外部调制光数据信号的加载数据。
TOF成像设备100可以是TOF相机，并且可以被配置用于产生物体的三维图像(例如其可以被配置用于操作在深度感测模式)。可选地，在同步电路装置106已经调节参考信号103的参考频率从而传感器像素输出信号的频率降至阈值之下之后，控制电路装置可以被配置用于产生3D图像。TOF成像设备100的控制电路可以被配置用于产生物体的3D图像和/或确定在TOF成像设备10与物体110之间的距离信息。
发射电路可以被配置有用于发射(或发送)采用经调节的参考频率调制的经调制的光信号。TOF成像设备100的发射电路可以包括红外EM波或可见EM波发射电路。发射电路可以包括一个或多个红外或可见光发射二极管。同步电路装置106可以耦合至(例如连接至)发射电路(例如至发射电路的发光二极管)因此可以采用经调节的参考频率脉冲由TOF成像设备100发出的光信号。同步电路装置106可以进一步耦合至(例如连接至)多个传感器像素101。因此，所反射的经调制的光信号可以具有与施加至每个传感器像素的光电门的偏置信号相同的频率(例如经调节的参考频率)。
由TOF成像设备100的发射电路发射的经调制的光信号可以由物体反射。反射电路可以被配置用于发射具有4个不同相位偏移(例如0°,90°,180°和270°)的经调制的光信号。对于每个相位偏移而言，第一读出信号与第二读出信号之间的差异可以存储作为τ(0°),τ(90°),τ(180°)和τ(270°)。
在深度感测模式中，像素电路装置104可以被配置用于基于差分读出信号的反正切(arctan)函数而确定在所发射经调制的光信号与参考信号之间的相位偏移值。例如，相位偏移值可以基于下式计算。
控制电路装置可以被配置用于计算距离信息，其可以与所反射经调制的光信号与具有经调节的参考频率的参考信号之间的相位延迟成比例。例如，距离d可以基于下式计算。
c例如可以是光速并且f可以是参考频率。因此，控制电路装置可以被配置用于基于所接收的经调节的光信号和具有经调节的参考频率的参考信号103而产生3D图像。
可以理解，差分输出可以代表输入的外部光信号102与参考信号103的相关乘积。因此，可以理解，像素电路装置104可以被配置用于基于外部光信号102与参考信号103的相关性(例如交叉相关性或自相关性)而产生3D图像。
控制电路装置可以被配置用于产生3D图像的一个或多个点(例如仅一个点，点的连线，或点的阵列)的距离信息。通过确定距离信息，可以产生物体的三维图像。例如，所产生的图像可以是例如物体的最终图像，或预先最终图像，其可以用于产生物体的最终图像。例如，可以使用多个例如预先最终图像的序列以产生物体的最终图像。
物体可以是待拍照的人员、或事物、或场景。例如，物体可以是三维(3D)的，例如物体可以具有高度、宽度和深度。待由TOF成像设备100确定的距离信息可以是在一个或多个不同位置之间或者物体的表面轮廓的一个或多个点至设备100的距离。通过确定与物体相关的距离信息，可以由设备确定关于物体的三维信息(例如高度、宽度和深度)。
示例并未将TOF成像设备100限定于基于具有经调节的参考频率的参考信号而产生3D图像。TOF成像设备100可以基于其原始(例如未调节的)参考信号103产生3D图像，甚至不调节其参考频率。
在此所述的示例涉及TOF成像设备100(例如TOF相机)。TOF相机可以产生深度图像，其中每个像素可以对相机与所感测场景之间的距离编码。这可以通过发射红外光并测量其传播至场景与返回至传感器所花费的时间而完成。在连续波方案中，脉冲光Plight可以由照明单元(例如发射电路)在捕捉过程期间发射。可以为传感器的像素提供波信号Fmod(例如方波信号)，其可以与所反射的光脉冲具有相同的频率。光脉冲的传播时间可以引起在所接收和所发射信号之间的相移。光子混合器装置(PMD)可以位于每个像素处并且可以产生于相位偏移相关的值。脉冲的相位可以对于每个图像偏移以补偿光强度变化。随后可以处理多个图像成一个深度图像。由于该测量原理，TOF，传感器可以能够发射相移脉冲光，并且像素可以能够精确地测量这些相位差异。在每个像素上(或处)的光子混合装置(或光子混合装置PMD)可以检测输入光脉冲及其自己的参考调制信号的相位差。如果系统被同步，则发送者可以通过偏移其所发射光脉冲的相位而编码信息(例如以PSK)。在深度感测中，所反射的光脉冲Plight和在像素处的Fmod可以与它们源自相同信号源具有相同的频率。然而，当飞行时间系统通信时，可以为它们提供来自不同来源的信号。由于振荡器的频率不准确在这些调制信号之间通常存在频率偏移。
在此所述的示例涉及TOF成像设备100，其可以被配置用于微调或适配其调制时钟至发送外部光信号102的外部照明源(和/或第二TOF成像设备)的调制时钟。这可以允许TOF成像设备100与外部系统通信。例如，如果两个TOF系统(例如TOF成像设备100和外部TOF成像设备)希望通信，则它们可以需要具有相同的调制(例如参考)信号Fmod。TOF成像设备100可以是从装置，其适配调制(参考)频率为主装置(例如第二TOF成像设备)的调制(参考)频率。
在此所述的示例涉及TOF成像设备100(例如TOF 3D成像系统)，其可以是用于基于图像传感器的光学通信的收发器。TOF成像设备可以将深度测量与光学通信组合，这可以实现通信方的精确定位。TOF成像设备可以进一步用于安全装置授权、增强现实或高速姿态跟踪。
在此所述的示例涉及装备具有TOF传感器(例如两个TOF成像设备)的两个系统，其可以经由视线连接面对面通信。由于深度测量原理，TOF系统可以使用脉冲光(Plight)的相移键控(PSK)以发送数据。通过使用有源照明单元作为发射器，这可以不采用额外硬件而实现。调制方法可以每个符号编码2位并且可以因此比图像传感器领域中其他调制方案在带宽和健壮性方面优越。PLPSK可以在两个系统中要求同步的调制信号。如果没有同步，则使用PSK在两个TOF系统之间光学通信可以是严重受损且被认为是不可实现的。TOF成像设备100可以感测并补偿这两个TOF系统(或相机)之间的频率差。可以实现100％成功率。
在此所述的示例涉及TOF成像设备100，其可以不采用引线连接而独立地操作(外部)有源照明单元。例如，在普通深度感测应用中可以不存在照明单元和TOF成像设备100(传感器)的物理连接。TOF成像设备100可以同步深度感测相机至照明单元，这可以缓解存在于其他飞行时间装置中的设计边界。
在此所述的示例涉及可以在两个飞行时间相机之间实现光学通信的TOF成像设备100。TOF成像设备可以进一步组合深度感测系统与光学通信，其可以部分参与知晓全部位置的通信。TOF成像设备100可以实现被投影光源的像素位置和深度测量的使用，以精确地定位通信方。该通信中知晓位置可以是空前的，并且仅可以采用在该小型化中的TOF传感器实现。TOF相机的像素也可以对于脉冲光敏感，这可以消除所有背景光。因此无需进一步图像处理以从收集到的数据提取信息。
在此所述的示例涉及TOF成像设备100，其可以避免必须通过估计像素内容以实现调制信号同步而直接地检测传感器上的调制频率差。TOF成像设备100可以避免使用分立光电检测器(例如光电二极管)以恢复其他相机的调制信号。TOF成像设备100可以避免可以与TOF相机系统不兼容的额外硬件。进一步，TOF成像设备可以允许同时操纵多个通信方。
图2示出了传感器像素输出信号211的示意图200，其表示相位值212相对于时间213之间的关系。
示意图200示出了在从另一TOF成像设备(例如主装置)接收外部光信号之后，由TOF成像设备(例如从装置)的像素电路装置所产生的传感器像素输出信号211。传感器像素输出信号211示出了与外部光信号102和参考信号103之间相移偏移(例如相位值)相关的输出值，如果外部光信号与参考信号的频率并未被同步。
如果发送者(主装置)发出具有恒定相位的信号，从装置可以感测得到的周期性信号并估算频率差(偏移)ΔF。示意图200示出了如果在外部调制频率与参考频率之间频率偏移大于阈值(例如大于零)的传感器像素输出信号211。例如，如果外部光信号的发送者的调制时钟与接收TOF成像设备100的调制时钟并未被同步，则测得的相位值随时间改变。例如，传感器像素输出信号211可以是三角形周期性信号。例如，传感器像素输出信号211的频率可以与调制信号的频率差(偏移)ΔF相同(或相等)(例如在外部光信号的外部调制频率与内部参考信号的参考频率之间)。传感器像素输出信号211的频率可以用于对系统进行同步。
结合以上或以下所述的示例提及更多细节和方面。图2中所示的示例可以包括对应于结合所提出概念或以上(例如图1)或以下(图3A至图6)所述的一个或多个示例而提及的一个或多个方面的一个或多个任选的额外特征。
图3A示出了可以由TOF成像设备100执行的过程的流程图。例如，图3A示出了可以由TOF成像设备100的同步电路装置执行的过程的流程图。例如，图3A示出了频率适配(或同步过程)过程。
同步电路装置106可以被配置(在311中)为开始同步过程。
同步电路装置106可以被配置(在312中)为对传感器像素输出信号O、105取样以确定传感器像素输出信号105的频率。例如，可以由从装置对信号O取样。
同步电路装置106可以被配置(在333中)为执行频率偏移估算。例如，可以配置同步电路装置106以基于传感器像素输出信号105的频率而得到频率偏移Fest，与外部调制频率和参考频率之间的差值相关。例如，可以估算传感器像素输出信号105的频率。
可以配置同步电路装置106(在334中)以确定外部调制频率与参考频率之间的频率偏移是否小于(或低于)阈值。例如，可以配置同步电路装置106以确定频率偏移是否等于零。
如果频率偏移被认为低于阈值(或例如等于零)，则可以配置(在335中)同步电路装置106以终止同步过程。例如，同步电路不必调节参考信号的参考频率。
如果频率偏移被确定为不低于阈值(例如如果估算的频率偏移Fest不等于零)，则可以配置(在336中)同步电路装置106以比较当前估算的频率偏移与之前估算的频率偏移，以确定当前频率偏移是否比之前估算的频率偏移更坏(或更大)。
可以配置(在337中)同步电路装置106以确定错误的设计是否可以导致无法测量的频率偏移，如果之前估算的频率偏移不大于之前估算的频率偏移，和/或是否不存在之前估算的频率偏移。
可以(在338中)配置同步电路装置106以确定调节值Fadj。调节值Fadj可以具有等于频率偏移Fest的幅度(例如Fadj＝Fest)。
可以(在339中)配置同步电路装置106以随机选择调节值Fadj的符号(正或负)。
可以(在341中)配置同步电路装置106以根据调节值调节(或适配)参考频率Fmod(例如+Fadj或-Fadj)。例如，可以由+Fadj＝Fest适配参考(调制)信号的参考频率Fmod。
可以(在342中)配置同步电路装置106以确定调节值Fadj，如果之前估算的频率偏移大于之前估算的频率偏移。调节值Fadj可以具有等于新频率偏移Fest的幅度。调节值Fadj可以具有与调节值的之前符号相反的符号(参见图3B)。
可以(在342中)配置同步电路装置106以确定调节值，如果(在337中)确定了错误符号可以导致无法测量的频率偏移。调节值Fadj可以具有等于估算的频率偏移与限制值α的乘积的幅度(例如，如果0<α<1，Fadj＝Fest×α)。
可以配置同步电路装置106以迭代地改变参考频率，直至传感器像素输出信号的频率低于预定的阈值。
同步方案(或过程)可以是基于捕捉传感器像素输出信号并估算频率。估算的频率随后可以用于适配飞行时间传感器中频率发生电路(例如锁相环PLL)，这可以导致调节TOF成像设备(从装置)的调制频率。
适配过程可以是迭代的，因为其可能无法在首次尝试即足够精确地猜测频率差。频率差是正或负的，这也可以是不确定的，并且因此过程首次猜测已适配频率的符号，并且可以在下一次迭代中检测适配是否错误。
图3B示出了由同步电路执行的同步过程的至少一部分的图形示意(340,350,360)(例如在已记录的数据集上的同步)。
示意图340示出了初始传感器像素输出信号(或相位偏移信号O)。在340中(并如332中所述)，可以对信号345(例如传感器像素输出信号)取样简短的时间，并且估算ΔF(或Fest)为30.82Hz。
可以随机的选择正负号，并且可以根据该数值Fest(+30.82Hz)适配同步电路的锁相环。
在后续迭代中，(在340中)可以(迭代地)再次取样信号(传感器像素输出信号)。这次，估算的频率差可以是60.62Hz，这意味着之前的符号是错误的。例如，新传感器像素输出信号(新相位偏移信号)可以具有比之前初始传感器像素输出信号更大的频率。这次，可以配置同步电路以使用与之前相反的符号而以-60.62Hz适配频率。例如，因为在之前迭代中选择了正号，在当前迭代中选择负号。
在360中，确定频率偏移ΔF足够小(例如传感器像素输出信号的频率降至阈值之下)并且因此可以确定没有周期性信号。
同步电路装置可以实施在软件中。TOF相机可以由I2C命令控制。这些命令可以使得TOF传感器经由其内部PLL改变其调制频率。
结合以上或以下所述示例提及更多细节和方面。图3A和图3B中所示的示例可以每个包括对应于所提出的概念或以上(例如图1至图2)或以下(例如图4A至图6)所述的一个或多个示例的一个或多个任选的额外特征。
图4A示出了第一TOF成像设备100和第二TOF成像设备400的示意图。例如，图4A示出了基于飞行时间的光学通信的原理。
第一TOF成像设备100(例如从装置)包括传感器电路455，其可以包括多个传感器像素101。传感器电路455可以被配置用于接收采用外部调制频率调制的外部光信号102。第一TOF成像设备100(从装置)可以被配置用于从外部(或第二)TOF成像设备40(例如主装置)接收外部光信号102。
第一TOF成像设备100进一步包括像素电路装置。像素电路装置的至少一部分可以位于传感器电路455内。额外的、任选的或备选地，第一TOF成像设备100的像素电路装置的至少一部分可以连接至或者可以是第一TOF成像设备100的处理系统451的一部分。
第一TOF成像设备100可以进一步包括被配置用于基于传感器像素输出信号105而调节参考信号103的参考频率的同步电路装置106(例如调制时钟源)。同步电路装置106可以包括被配置用于产生参考信号Fmod的锁相环电路452。锁相环电路452可以包括被配置用于产生参考信号103的参考振荡器电路457。
同步电路装置106可以进一步包括相移电路453(例如相移单元PSU)，其可以连接至锁相环电路452，或者可以实施作为锁相环电路452的一部分。相移电路453可以接收参考信号Fmod并且可以基于参考信号Fmod产生多个偏置信号。
第一TOF成像设备100可以进一步包括处理系统或电路装置451。处理系统451可以包括或可以连接至像素电路装置和控制电路装置。处理系统451(例如控制电路)可以被配置用于控制TOF成像设备101的发射电路。处理系统451可以连接至相移电路453并且可以通过相移键控(PSK)控制信息的传送。例如，处理系统451的控制电路装置可以由具有恒定相位或不同相移的发射电路454控制光脉冲(Plight)的传送。处理系统(例如处理系统的像素电路装置)可以连接至同步电路装置106。处理系统可以发送信息至适用于同步参考信号Fmod的同步电路装置106。
第二(外部)TOF成像设备400(例如主装置)可以类似于(或等同于)第一TOF成像设备100。例如，第二TOF成像设备400可以包括发射电路464，包括多个传感器像素的传感器电路471，同步电路装置406(例如调制时钟源)，相移电路463(例如相移单元)，以及处理系统461(例如包括像素电路装置和控制电路)。
第二TOF成像设备400可以被配置用于发送恒定相位信号至第一TOF成像设备100。例如，处理系统可以控制相移单元463以在同步过程期间(或例如在整个同步过程期间)设置相移至0°。相移单元463可以被配置用于在同步期间(或例如遍及)发送具有恒定0°相移的光信号。处理系统461可以进一步控制相移单元463以由PSK发送信息。额外的、备选地或可选地，第二TOF成像设备400可以缺乏(或可以不具有)第一TOF成像设备100的同步电路装置。例如，第一TOF成像设备100可以能够适配或调节其内部参考信号至第二TOF成像设备400的参考信号，即使第二TOF成像设备400无法适配或调节其自己的内部参考信号。
如图4A中所示，两个TOF相机(100,400)可以通过相移键控而通信。例如，它们可以发送具有不同相移(例如0°,90°,180°和270°)的调制光信号。它们可以使用它们内建的相移单元用于调制。相移可以在每个像素处解调，例如在从装置系统已经同步其调制信号Fmod至主装置系统之后。
第一TOF成像设备100和第二TOF成像设备400之间的距离可以小于15m。第一TOF成像设备100和第二TOF成像设备400可以采用MiraCE传感器硬件配置。
图4B示出了如果第一TOF成像设备100的参考频率并未与第二TOF成像设备400的参考频率同步则存在非明确的相位值。
如果在第一TOF成像设备100的参考频率与第二TOF成像设备400的参考频率之间存在频率差(例如ΔF>0或例如ΔF>阈值)，则调制信号之间的相位随时间改变。线条471示出了具有0°相移的数据信号。线条472示出了具有90°相移的数据信号。这导致非明确的相位值473(圆形)，其直接导致在通信期间的故障。
图4C示出了如果第一TOF成像设备100的参考频率与第二TOF成像设备400的参考频率同步则缺乏非明确的相位值。
线条481示出了具有0°相移的数据信号。线条482示出了具有90°相移的数据信号。如果调制(参考)信号的频率等同或低于阈值(例如ΔF＝0)，则不同的相位产生不同的输出，并且可以减少或消除非明确的相位值的数目。
图4D示出如果从主装置接收具有0°或180°相移的外部光信号的可能传感器像素输出信号的示意图。
线条483示出如果外部光信号具有恒定0°相移的传感器像素输出信号。线条484示出如果外部光信号具有恒定180°相移的传感器像素输出信号。
图4E示出如果从主装置接收具有随机相移的外部光信号、诸如如果主装置发送具有在0°和18 0°之间变化的相移的外部光信号的传感器像素输出信号S(x)的示意图。
以下描述了像素电路装置104可以如何从发射多个相位值的主装置提取频率差F的示例。
通过使用参数化周期性函数诸如以下形式的正弦波f(x)＝c*sin(2π*a*x+b)，TOF成像设备100的像素电路装置104可以确定参数a，其与相移信号的频率成比例。TOF成像设备100的像素电路装置104可以在以下项中最小化E，其中对于从1至x的所有样本E＝sum(abs(sin(2π*a*x+b))-S(x))。
参数b可以设置为数值0和π，对应于外部光信号中0°和180°的相移。参数c可以是信号的最大原始数值，其可以通过使用信号S中最大样本而得到。参数a可以是所需的结果并且通过使用数值近似算法而找到。在主装置和从装置之间的以Hz为单位的频率差可以由f＝a/(2*π)得到。
结合以上或以下所述的示例提及更多细节和方面。图4A至图4E中所示的示例可以每个包括一个或多个任选的额外特征，对应于结合所提出概念或以上(例如图1至图3B)或以下(图5至图6)所述的一个或多个示例所提及的一个或多个方面。
图5示出了飞行时间成像设备500的示意图。
飞行时间成像设备500包括被配置用于接收经调制的光信号102的至少一个传感器像素101。
飞行时间成像设备500进一步包括被配置用于基于利用参考信号103解调经调制的光信号102而产生传感器像素输出信号105的像素电路装置104。
飞行时间成像设备500进一步包括被配置用于基于传感器像素输出信号105产生具有经调节的参考频率的参考信号103的同步电路装置106。
由于飞行时间(TOF)成像设备500包括被配置用于产生具有经调节的参考频率的参考信号103的同步电路装置106，因此TOF成像设备500可以调节或适配其自己的参考频率至来自外部装置的信号的外部调制频率。由于TOF成像设备500的参考频率与外部调制频率之间改进的同步，因此这可以导致TOF成像设备500和外部装置之间的通信(例如加载数据的传输)更精确。因此当可以减少解码期间非明确的相位值的数目时，可以解码由TOF成像设备500所接收数据信号中的加载数据信息。
TOF成像设备500可以包括成像设备100的一个或多个或者所有特征。例如，TOF成像设备500包括被配置用于产生传感器像素输出信号105的像素电路装置104。像素电路装置104可以被配置用于利用参考信号103解调经调制的光信号102而产生传感器像素输出信号105以得到(或提取)与经调制的光信号102和参考信号103相关的相位信息(或相移信息)。
结合以上或以下所述示例提及更多细节和特征。图5中所示的示例可以包括一个或多个任选额外特征，对应于结合所提出概念或以上(例如图1至图4C)或以下(图6)所述一个或多个示例所提及的一个或多个方面。
图6示出了用于调节参考频率的方法600的流程图。
方法600包括(在610中)由多个传感器像素接收采用外部调制频率调制的外部光信号。
方法进一步包括(在620中)由像素电路装置基于外部光信号和具有参考频率的参考信号产生传感器像素输出信号，其中传感器像素输出信号具有取决于外部调制频率与参考频率之间差异的频率。
方法进一步包括(在630中)由同步电路装置基于传感器像素输出信号调节参考信号的参考频率。
由于基于传感器像素输出信号调节参考信号的参考频率，因此可以适配(例如TOF成像设备的)参考频率为外部光信号的外部调制频率。由于TOF成像设备的参考频率与外部调制频率之间改进的同步，因此这可以导致TOF成像设备与外部装置之间的通信(例如加载数据的传输)更精确。当可以减少解码期间非明确的相位值的数目时，可以因此由TOF成像设备更精确地解码由TOF成像设备接收的数据信号中的加载数据信息。
方法600可以由TOF成像设备执行。
外部光信号可以是由外部光源发射的光信号。例如，TOF成像设备可以被配置用于经由空气或通过光纤从外部光源接收外部光信号。例如，外部光源可以与TOF成像设备电隔离，和/或可以在它们之间不传输额外的电信号。例如，可以在外部光源和TOF成像设备之间不存在有线(或电缆)连接。
额外的、备选地或可选地，外部光信号可以是由外部光源发射并由物体反射的光信号。例如，外部光源(例如照明单元)和TOF成像设备可以面对相同方向(例如面对场景或物体)并且可以操作在深度感测模式。即使没有将外部光源连接至TOF成像设备的电缆连接，TOF传感器也可以使用从外部光源发射并由场景(或物体)反射的光以将其自己的参考(调制)信号的参考频率同步为外部光源的频率。
额外的、备选地或可选地，外部光信号可以是由外部飞行时间成像设备发射的光信号。例如，外部TOF成像设备可以与TOF成像设备电隔离，和/或在它们之间可以不传输额外的电信号。例如，在外部TOF成像设备与TOF成像设备之间可以不存在有线(或电缆)连接。TOF成像设备可以采用外部TOF成像设备的参考频率同步其内部参考频率。
方法600可以进一步包括在调节参考频率之后由多个传感器像素接收包括加载数据的外部经调制的光数据信号，从而传感器像素输出信号的频率降至阈值之下。
方法600可以进一步包括得到在调节了参考信号的参考频率之后接收的外部经调制的光数据信号的加载数据。例如，外部经调制的光数据信号的加载数据可以在传感器像素输出信号的频率降至低于阈值之后得到。外部经调制的光信号的加载数据可以基于具有经调节的参考频率的参考信号与外部经调制的光信号而得到。
方法600可以进一步包括基于具有经调节的参考频率的经调制的光信号产生物体的三维图像和/或确定TOF成像设备与物体之间的距离信息。例如，产生物体的三维图像和/或确定距离信息可以包括发射具有经调节的参考频率的经调制的光信号并且接收具有经调节的参考频率的被反射经调制的光信号。
结合以上或以下所述的示例提及更多细节和方面。图6中所示的示例可以包括一个或多个任选额外特征，对应于结合所提出概念或以上(例如图1至图5)或以下所述一个或多个示例所提及的一个或多个方面。
各个示例涉及用于飞行时间传感器的调制信号同步。示例可以使用过程以同步两个TOF相机(A和B)的调制信号。可以由TOF相机A发射并由TOF相机B接收脉冲光信号。可以由TOF相机B的处理系统分析信号，并且可确定TOF相机A和TOF相机B的标志信号之间的频率差。该信息可以用于适配TOF相机B中调制信号的频率以用于同步。
与之前详述示例和附图的一个或多个一起提及和所述的方面和特征(例如TOF成像设备、多个传感器像素、外部光信号、像素电路装置、参考信号、传感器像素输出信号、同步电路、另一TOF成像设备、锁相环、参考振荡器电路、控制电路)也可以与其他示例的一个或多个组合以便于替代另一示例的类似特征或者以便于额外的引入特征值另一示例。
示例可以进一步涉及具有用于当在计算机或处理器上执行计算机程序时执行以上方法的一个或多个的程序代码的计算机程序。可以由已编程的计算机或处理器执行各个上述方法的步骤、操作或进程。示例也可以覆盖程序存储装置诸如数字数据存储媒介，其是机器、处理器或计算机可读并且编码的机器可执行、处理器可执行或计算机可执行的指令的程序。指令执行或引起执行上述方法的一些或全部动作。程序存储装置可以包括或者例如是数字存储器、磁性存储媒介诸如磁盘和磁带、硬件驱动、或光学可读数字数据存储媒介。其他示例也可以覆盖被编程用以执行上述方法的动作的计算机、处理器或控制单元，或者被编程用以执行上述方法动作的(现场)可编程逻辑阵列((F)PLA)或(现场)可编程门阵列((F)PGA)。
说明书和附图仅图示了本公开的原理。进一步，在此所述的所有示例原理上明确地有意设计为仅为了教导目的以帮助读者理解本公开的原理和由本发明人对于促进本领域所贡献的概念。所有在此引述了本公开的原理、方面和示例以及其具体示例的陈述意在包括其等价形式。
执行某一功能的标注为“用于……的装置”的功能块可以涉及被配置用以执行某一功能的电路。在此，“用于某事的装置”可以实施作为“配置用于或适用于某事的装置”诸如配置用于或适用于各自任务的装置或电路。
附图中所示各个元件的功能，包括标注为“装置”、“用于提供传感器信号的装置”、“用于产生发送信号的装置”等，可以实施为专用硬件的行驶，诸如“信号提供者”、“信号处理单元”、“处理器”、“控制器”等，以及能够执行软件的、与合适的软件相关了的硬件。当由处理器提供时，功能可以由单个专用处理器、由单个共用处理器、或由多个单独处理器提供，其中一些或全部可以共用。然而，术语“处理器”或“控制器”迄今不限于排他性的能够执行软件的硬件，而是可以包括数字信号处理器(DSP)硬件、网络处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、用于存储软件的只读存储器(ROM)、随机访问存储器(RAM)、和非易失性存储装置。也可以包括传统和/或定制的其他硬件。
方框图可以比如图示实施了本公开原理的高级电路图。类似地，流程图、流程表、状态转换图、伪代码等等可以表示各个进程、操作或步骤，其可以例如实质上表现在计算机可读媒介中并且也由计算机或处理器执行，不论是否明确地示出了该计算机或处理器。说明书中或权利要求中所公开的方法可以由具有用于执行这些方法的各自方面的每一个的机制的装置而实施。
应该理解的是在说明书或权利要求中所公开的多个动作、进程、操作、步骤或功能的公开可以不构造为在具体顺序内，除非明确或暗示地另外陈述，例如为了技术原因。因此，多个动作或功能的公开将不限于特定顺序，除非该动作或功能为了技术原因不是可互换的。进一步，在一些示例中单个动作、功能、进程、操作或步骤可以包括或者可以分别分解为多个子动作、子功能、子进程、子操作或子步骤。该自动作可以包括并是该单个动作的公开的一部分，除非明确的排除。进一步，以下权利要求由此包括至详细说明书中，其中每个权利要求可以自身作为分立的示例。尽管每个权利要求可以自身作为分立示例，应该注意的是，尽管从属权利要求可以涉及权利要求与一个或多个其他权利要求的具体组合，其他示例也可以包括从属权利要求与每个其他从属或独立权利要求的主题的组合。在此明确的提出该组合除非其陈述具体组合并非有意设计。进一步，有意设计的是权利要求也包括任何其他独立权利要求的特征，即使该权利要求并未直接从属于该独立权利要求。

Claims (19)

1.一种飞行时间成像设备(100,500)，包括：
多个传感器像素(101)，被配置用于接收采用外部调制频率调制的外部光信号(102)；
像素电路装置(104)，被配置用于基于所述外部光信号(102)和具有参考频率的参考信号(103)产生传感器像素输出信号(105)，其中所述传感器像素输出信号(105)具有取决于所述外部调制频率与所述参考频率之间的差异的频率；以及
同步电路装置(106)，被配置用于基于所述传感器像素输出信号(105)调节所述参考信号(103)的参考频率。
2.根据权利要求1所述的飞行时间成像设备，其中，所述传感器像素输出信号(105)包括与所述外部光信号(102)和所述参考信号(103)之间的相位偏移相关的输出值。
3.根据之前权利要求中任一项所述的飞行时间成像设备，其中，所述同步电路装置(106)被配置用于调节所述参考信号(103)的所述参考频率，从而所述传感器像素输出信号(105)的频率降至阈值之下。
4.根据之前权利要求中任一项所述的飞行时间成像设备，其中，所述同步电路装置(106)被配置用于基于所述传感器像素输出信号(105)的所述频率得到与所述外部调制频率和所述参考频率之间的差异相关的频率偏移。
5.根据权利要求4所述的飞行时间成像设备，其中，所述同步电路装置(106)被配置用于基于所述频率偏移调节所述参考信号(103)的所述参考频率。
6.根据之前权利要求中任一项所述的飞行时间成像设备，其中，所述外部光信号(102)是固定相位信号。
7.根据之前权利要求中任一项所述的飞行时间成像设备，其中，所述像素电路装置(106)被配置用于基于从所述多个传感器像素(101)的传感器像素(101)的子群组得到的相位信息来得到所述传感器像素输出信号(105)。
8.根据权利要求7所述的飞行时间成像设备，其中，所述传感器像素(101)的所述子群组是传感器像素的二维阵列，所述传感器像素的二维阵列包括少于所述多个传感器像素(101)中的传感器像素的总数目的50％的传感器像素。
9.根据权利要求7或8所述的飞行时间成像设备，其中，所述传感器像素的所述子群组是所述多个传感器像素(101)中的从所述外部光信号(102)接收最高光强度的传感器像素。
10.根据之前权利要求中任一项所述的飞行时间成像设备，其中，所述同步电路装置(106)被配置用于迭代地改变所述参考频率，直至所述传感器像素输出信号(105)的频率低于阈值。
11.根据之前权利要求中任一项所述的飞行时间成像设备，其中，所述多个传感器像素(101)中的每个传感器像素包括光子混合器件电路的至少一部分。
12.根据之前权利要求中任一项所述的飞行时间成像设备，其中，所述像素电路装置(104)被配置用于由所述多个传感器像素(101)中的至少一个传感器像素基于利用所述参考信号(103)解调所述经调制的光信号(102)来产生所述传感器像素输出信号(105)。
13.根据之前权利要求中任一项所述的飞行时间成像设备，其中，所述同步电路装置(106)包括锁相环电路(452)，
其中所述锁相环电路包括参考振荡器电路(457)，所述参考振荡器电路(457)被配置用于基于所述外部调制频率与所述参考频率之间的差异来产生具有经调节的参考频率的所述参考信号。
14.根据之前权利要求中任一项所述的飞行时间成像设备，进一步包括发射电路(454)和控制电路装置(451)，
其中如果所述传感器像素输出的频率是所述经调节的参考频率，则控制电路装置(451)被配置用于控制所述发射电路(454)以发送具有降至阈值之下的信号频率的经调制的光数据信号。
15.根据之前权利要求中任一项所述的飞行时间成像设备，进一步包括控制电路装置(451)，所述控制电路装置(451)被配置用于得到由所述多个传感器像素(101)接收的外部经调制的光数据信号的加载数据，其中所述控制电路装置(451)被配置用于基于具有所述经调节的参考频率的所述参考信号得到所述加载数据。
16.根据之前权利要求中任一项所述的飞行时间成像设备，进一步包括控制电路装置(451)，所述控制电路装置(451)被配置用于产生物体的三维图像，其中所述控制电路装置(451)被配置用于基于由所述飞行时间成像设备的发射电路所发射的经调制的光信号来产生所述三维图像，其中所述经调制的光信号是采用所述经调节的参考频率调制的。
17.一种飞行时间成像设备(100,500)，包括：
至少一个传感器像素(101)，被配置用于接收经调制的光信号(102)；以及
像素电路装置(104)，被配置用于基于利用参考信号(103)解调所述经调制的光信号(102)来产生传感器像素输出信号(105)；以及
同步电路装置(106)，被配置用于基于所述传感器像素输出信号(105)产生具有经调节的参考频率的所述参考信号(103)。
18.一种用于调节参考频率的方法(600)，所述方法包括：
由多个传感器像素接收(610)采用外部调制频率调制的外部光信号；
由像素电路装置基于所述外部光信号和具有参考频率的参考信号来产生(620)传感器像素输出信号，其中所述传感器像素输出信号具有取决于所述外部调制频率与所述参考频率之间的差异的频率；以及
由同步电路装置基于所述传感器像素输出信号来调节(630)所述参考信号的所述参考频率。
19.根据权利要求18所述的方法，其中，所述外部光信号是来自如下光信号的群组中的至少一个的光信号：由外部光源发射的光信号，由外部飞行时间成像设备发射的光信号，以及由外部光源发射并由物体反射的光信号。
CN201810194201.8A 2017-03-10 2018-03-09 飞行时间成像设备和用于调节参考频率的方法 Active CN108712245B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017105142.2A DE102017105142B4 (de) 2017-03-10 2017-03-10 Laufzeit-Bilderzeugungsvorrichtungen und ein Verfahren zum Anpassen einer Referenzfrequenz
DE102017105142.2 2017-03-10

Publications (2)

Publication Number Publication Date
CN108712245A true CN108712245A (zh) 2018-10-26
CN108712245B CN108712245B (zh) 2021-02-02

Family

ID=63258457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810194201.8A Active CN108712245B (zh) 2017-03-10 2018-03-09 飞行时间成像设备和用于调节参考频率的方法

Country Status (3)

Country Link
US (1) US11067675B2 (zh)
CN (1) CN108712245B (zh)
DE (1) DE102017105142B4 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111596283A (zh) * 2019-02-19 2020-08-28 英飞凌科技股份有限公司 用于飞行时间接收器的随机硬件故障和劣化保护装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018107801A1 (de) * 2017-04-04 2018-10-04 pmdtechnologies ag Lichtlaufzeitkamera
US10999524B1 (en) 2018-04-12 2021-05-04 Amazon Technologies, Inc. Temporal high dynamic range imaging using time-of-flight cameras
CN110389351B (zh) * 2018-04-16 2021-03-26 宁波飞芯电子科技有限公司 Tof距离传感器、传感阵列及基于tof距离传感器的测距方法
US10708484B2 (en) * 2018-06-20 2020-07-07 Amazon Technologies, Inc. Detecting interference between time-of-flight cameras using modified image sensor arrays
US10674063B2 (en) 2018-06-20 2020-06-02 Amazon Technologies, Inc. Synchronizing time-of-flight cameras
US10681338B1 (en) 2018-07-24 2020-06-09 Amazon Technologies, Inc. Detecting interference in depth images captured using overlapping depth cameras
US11506763B2 (en) 2018-10-31 2022-11-22 Infineon Technologies Ag Image sensor with interleaved hold for single-readout depth measurement
US11448739B2 (en) * 2019-03-08 2022-09-20 Synaptics Incorporated Derivation of depth information from time-of-flight (TOF) sensor data
US11681025B2 (en) 2019-03-21 2023-06-20 Infineon Technologies Ag Simultaneous data transmission and depth image recording with time-of-flight cameras
EP3767330B1 (en) 2019-07-18 2023-06-21 Infineon Technologies AG Method and apparatus for determining relative motion between a time-of-flight camera and an object in a scene sensed by the time-of-flight camera
JP2021021633A (ja) * 2019-07-26 2021-02-18 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距システムおよび測距装置の調整方法
DE102021106220A1 (de) * 2021-03-15 2022-09-15 Dspace Gmbh Vorrichtung und Verfahren zur Isolation eines Triggersignals eines LiDAR-Sensors sowie Testsystem
CN113325439B (zh) * 2021-05-17 2023-04-07 奥比中光科技集团股份有限公司 一种深度相机及深度计算方法
US20230320551A1 (en) * 2022-04-11 2023-10-12 Vorwerk & Co. Interholding Gmb Obstacle avoidance using fused depth and intensity from nnt training

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101142822A (zh) * 2005-03-17 2008-03-12 Iee国际电子工程股份公司 3d成像系统
CN103412299A (zh) * 2013-07-30 2013-11-27 清华大学 基于非线性光学采样的飞秒激光绝对距离测量装置及方法
US20150204970A1 (en) * 2014-01-22 2015-07-23 Samsung Electronics Co., Ltd. Time of flight camera device and method of driving the same
CN105378506A (zh) * 2013-06-14 2016-03-02 微软技术许可有限责任公司 移动成像平台校准
DE102015015898A1 (de) * 2014-12-16 2016-06-16 Sew-Eurodrive Gmbh & Co Kg Verfahren zur Datenübertragung zwischen einem Sender und einem Empfänger und System zur Durchführung des Verfahrens
CN105763788A (zh) * 2014-08-29 2016-07-13 全视科技有限公司 用于飞行时间成像系统的校准电路及方法
CN106066987A (zh) * 2015-04-21 2016-11-02 英飞凌科技股份有限公司 Tof成像中的参数在线校准和补偿

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19704496C2 (de) 1996-09-05 2001-02-15 Rudolf Schwarte Verfahren und Vorrichtung zur Bestimmung der Phasen- und/oder Amplitudeninformation einer elektromagnetischen Welle
ES2206748T3 (es) 1996-09-05 2004-05-16 Rudolf Schwarte Procedimiento y dispositivo para la determinacion de la informacion sobre fases y/o amplitudes de una onda electromagnetica.

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101142822A (zh) * 2005-03-17 2008-03-12 Iee国际电子工程股份公司 3d成像系统
CN105378506A (zh) * 2013-06-14 2016-03-02 微软技术许可有限责任公司 移动成像平台校准
CN103412299A (zh) * 2013-07-30 2013-11-27 清华大学 基于非线性光学采样的飞秒激光绝对距离测量装置及方法
US20150204970A1 (en) * 2014-01-22 2015-07-23 Samsung Electronics Co., Ltd. Time of flight camera device and method of driving the same
CN105763788A (zh) * 2014-08-29 2016-07-13 全视科技有限公司 用于飞行时间成像系统的校准电路及方法
DE102015015898A1 (de) * 2014-12-16 2016-06-16 Sew-Eurodrive Gmbh & Co Kg Verfahren zur Datenübertragung zwischen einem Sender und einem Empfänger und System zur Durchführung des Verfahrens
CN106066987A (zh) * 2015-04-21 2016-11-02 英飞凌科技股份有限公司 Tof成像中的参数在线校准和补偿

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JOOHYUNG LEE: "Time-of-flight measurement with femtosecond light pulses", 《NATURE PHOTONICS》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111596283A (zh) * 2019-02-19 2020-08-28 英飞凌科技股份有限公司 用于飞行时间接收器的随机硬件故障和劣化保护装置

Also Published As

Publication number Publication date
US20180259628A1 (en) 2018-09-13
DE102017105142B4 (de) 2021-09-16
CN108712245B (zh) 2021-02-02
US11067675B2 (en) 2021-07-20
DE102017105142A1 (de) 2018-09-13

Similar Documents

Publication Publication Date Title
CN108712245A (zh) 飞行时间成像设备和用于调节参考频率的方法
CN105372667B (zh) 飞行时间装置和照明源
CN104730536B (zh) 在飞行时间测距装置之间交换信息
US9749613B2 (en) 3D image acquisition apparatus and method of generating depth image in the 3D image acquisition apparatus
US9857469B2 (en) System and method for multi TOF camera operation using phase hopping
US9418425B2 (en) 3D image acquisition apparatus and method of calculating depth information in the 3D image acquisition apparatus
US10001547B2 (en) System and method for estimating the position and orientation of a mobile communications device in a beacon-based positioning system
EP2594959B1 (en) System and method for multi TOF camera operation using phase hopping
US11681025B2 (en) Simultaneous data transmission and depth image recording with time-of-flight cameras
KR20120030196A (ko) 뎁스 영상 생성 장치 및 방법
KR20140137513A (ko) 3차원 영상 획득 장치 및 그 구동 방법
EP3824319A1 (en) Electronic device and method
JP5158499B2 (ja) データ通信装置
US11353565B2 (en) Time-of-flight imaging apparatus and method
JP2010135926A (ja) 視覚センサ同期装置および視覚センサ同期方法
JP7319311B2 (ja) マルチカメラ環境向けに最適化された飛行時間測定ビジョンカメラ
JP2006201037A (ja) 形状測定装置
US11228369B2 (en) Receiving apparatus, receiving method, and program
JP2006337309A (ja) 形状測定装置
Zanuttigh et al. Operating principles of time-of-flight depth cameras
JP6922796B2 (ja) 受信装置、可視光通信システム、受信方法、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant