CN116097127A - 使用飞行时间法测量距离的方法和测量距离的系统 - Google Patents
使用飞行时间法测量距离的方法和测量距离的系统 Download PDFInfo
- Publication number
- CN116097127A CN116097127A CN202080103819.4A CN202080103819A CN116097127A CN 116097127 A CN116097127 A CN 116097127A CN 202080103819 A CN202080103819 A CN 202080103819A CN 116097127 A CN116097127 A CN 116097127A
- Authority
- CN
- China
- Prior art keywords
- photodetector
- taps
- differential signal
- signal
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000002366 time-of-flight method Methods 0.000 title description 4
- 238000005259 measurement Methods 0.000 claims abstract description 57
- 230000004913 activation Effects 0.000 claims abstract description 33
- 230000003213 activating effect Effects 0.000 claims abstract description 6
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000000691 measurement method Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 239000003990 capacitor Substances 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000005284 excitation Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
使用飞行时间测量距离的方法,执行测量周期包括:第一步骤,执行一次或多次,所述第一步骤包括:第一子步骤,用于从至少一个光源发射脉冲光;第二子步骤,用于在预定时段内顺序地激活包括多个抽头的所述光电探测器的每个抽头,以存储由于所述光电探测器接收光而产生的信号,其中,所述多个抽头被顺序地激活,使得最后一个抽头的激活的完成从发射所述脉冲光开始偏移了大于或等于零的预定偏移时间,第二步骤,用于从所述抽头输出所述存储的信号,并输出所述输出信号的差分信号,其中,随着所述偏移时间的增加,重复所述测量循环,直到所述反射光在所述多个抽头中的任何一个抽头的激活时段期间返回到所述光电探测器,并且所述差分信号成为大于零的预定值,其中,从所述光电探测器到所述物体的所述距离基于所述测量循环的所述偏移时间来测量。
Description
技术领域
本发明涉及使用飞行时间法测量距离的方法和测量距离的系统。
背景技术
最近,对三维传感的需求一直在增加。还提出了包括深度成像摄像头的移动设备。传统上,多摄像头视差系统被称为实现三维传感和深度成像的方法。但是,多摄像头视差系统通常较大,操作较复杂。这种系统的深度测量精度是不够的。因此,最近使用的是使用红外光的深度传感器,而不是多摄像头视差系统。
飞行时间(time-of-flight,ToF)系统被称为深度传感器,该系统使用红外光。ToF系统通常分为两类:直接ToF(direct ToF,dToF)系统和间接ToF(indirect ToF,iToF)系统。这两类系统都检测光发射与在物体上反射的光返回之间的飞行时间。
如图10所示,传统的dToF系统使用时间计数器108直接检测光的飞行时间。dToF系统通常包括至少一个dToF传感器102。dToF传感器102包括光电探测器、用于响应于光照射放大从光电探测器输出的信号的放大器和时间计数器108。
时间计数器108与dToF系统的光源发射脉冲光114同时开始对时间计数。光114在物体112上反射,作为反射光116返回到光电探测器,并且光电探测器输出信号。时间计数器108响应于来自光电探测器的信号停止对时间计数。当dToF系统包括布置成阵列的多个dToF传感器102时,每个dToF传感器102包括光电探测器、放大器和时间计数器。因此,由于每个dToF传感器102可以测量光的飞行时间,即到物体的距离,所以可以通过映射所测量的距离来获得二维深度图像。
也就是说,如果在待测量物体上反射的光的一部分进一步在另一个物体上反射,则反射光的飞行路径比直接返回到dToF传感器的光的情况下的飞行路径长,因此,这种光返回到光电探测器的时间比直接返回到光电探测器的光晚。因此,在一次测量中反射光多次照射的情况下,可能会发生多径反射问题。为了解决这样的多径反射问题,dToF传感器的时间计数器响应于来自光电探测器的第一信号的输出和放大而停止对时间计数。在停止对时间计数之后,光照射光电探测器而产生的信号可以忽略。因此,dToF传感器可以检测光的最短飞行时间。
但是,由于从dToF传感器输出的信号可能包括由暗电流和环境光引起的错误检测,以及由抖动引起的检测时间的变化等,所以dToF系统通常获得多个帧的数据,并对数据进行统计处理而得到深度图像。
另一方面,传统的iToF系统包括至少一个iToF传感器202。iToF传感器22包括具有多个抽头224、226的光电探测器(如图11所示),并基于存储在抽头224、226中的信号与从抽头224、226输出的信号之间的比率来测量光的飞行时间。当iToF系统包括多个iToF传感器时,每个iToF传感器可以测量光的飞行时间,即到物体的距离,并可以通过映射所测量的距离获得二维深度图像。
例如,图11中所示的传统的iToF传感器202包括两个抽头224、226。抽头通常可以包括:存储电容器,用于存储响应于光照射从光电探测器输出的信号电荷;以及至少一个门,用于控制抽头的激活、存储电容器中信号光的存储以及存储信号电荷的输出。当iToF传感器202的光源发射脉冲光214时,抽头224与光发射同步被激活,并存储由于光照射光电探测器而产生的信号电荷。在完成抽头224的激活之后,抽头226被激活,并存储由于光照射光电探测器而产生的信号电荷。在测量循环被重复至少一次(优选多次)之后,输出存储在抽头224、226中的信号电荷。在这种iToF传感器202中,当在物体212上反射的光214返回到光电探测器时,反射光在激活抽头224的时段期间和激活抽头226的时段期间都照射光电探测器。例如,图11示出了80%的反射光216在激活抽头224的时段期间照射光电探测器,20%的反射光216在激活抽头226的时段期间照射光电探测器。如果物体212远离iToF传感器202,并且光的飞行时间变长,则在激活抽头224的时段期间照射光电探测器的反射光216的量减少,并且在激活抽头226的时段期间照射光电探测器的反射光216的量增加。因此,光的飞行时间,即到物体的距离可以基于从抽头224输出的信号与从抽头226输出的信号之间的比率来测量。
通过重复上述测量循环多次并将电荷存储在抽头中,可以对测量循环的结果求平均值。因此,iToF系统可能不需要dToF系统所需的多个帧的统计过程。此外,由于iToF系统可能不需要每个iToF传感器的时间计数器,所以与dToF传感器相比,iToF传感器可以小型化。
但是,传统的iToF系统无法避免上述多径反射的影响。由于在另一物体上反射的光返回到光电探测器的时间比直接从物体返回的反射光晚,所以在图11所示的激活抽头226的时段期间,照射光电探测器的反射光的量可以增加。因此,抽头224、226的输出之间的比率可以从到物体的距离偏离,并且到物体的距离可以被确定为比实际距离远。
如以上所讨论,由于dToF系统的时间计数器会阻碍dToF传感器的小型化,因此深度图像的分辨率会降低。此外,由于可能存在由暗电流和环境光引起的错误检测,以及由抖动引起的检测时间的变化,所以dToF系统通常需要使用大量帧的统计过程。换句话说,由于输出和处理了大量的数据,所以系统可能需要大内存和高性能处理电路。
另一方面,iToF系统存在多径反射问题。当发生多径反射时,距离测量的精度会降低。
发明内容
因此,需要高分辨率ToF传感器来解决多径反射问题。dToF系统检测的概念对于解决多径反射问题是必要的,而像素必须小型化以获得高分辨率,并且必须减少输出数据量。
根据本发明的第一方面提供了一种用于测量从光电探测器到物体的距离的方法,该方法执行测量循环,该测量循环包括:
第一步骤,执行一次或多次,第一步骤包括:
第一子步骤,用于从至少一个光源发射脉冲光;
第二子步骤,用于在预定时段内顺序地激活包括多个抽头的光电探测器的每个抽头,以存储由于光电探测器接收光而产生的信号,其中,多个抽头被顺序地激活,使得多个抽头中的最后一个抽头的激活的完成从脉冲光的发射开始偏移了大于或等于零的预定偏移时间,
第二步骤,用于从抽头输出存储的信号,并输出输出信号的差分信号,
其中,脉冲光在物体上反射,并作为反射光返回到光电探测器,
其中,随着偏移时间的增加,重复测量循环,直到反射光在多个抽头中的任何一个抽头的激活时段期间返回到光电探测器,并且差分信号成为大于零的预定值,
其中,从光电探测器到物体的距离基于测量循环的偏移时间来测量,在偏移时间中,反射光在多个抽头中的任何一个抽头的激活时段期间返回到光电探测器。
在根据本发明的第一方面中,第一步骤可以执行多次。
在根据本发明的第一方面中,差分信号可以是表示为Hi/Low的数字信号,并且当从多个抽头中的最后一个激活抽头输出的信号大于从其它抽头输出的信号时,差分信号可以是Hi。
在根据本发明的第一方面中,当差分信号超过预定阈值时,从光电探测器到物体的距离可以基于偏移时间来测量。
在根据本发明的第一方面中,差分信号可以在每个测量循环中存储在电阻器中,并且当一个测量循环中的差分信号比在一个测量循环之前的测量循环中存储在电阻器中的差分信号大预定阈值时,可以输出信号。
在根据本发明的第一方面中,该方法还可以包括,当从像素阵列中包括的每个光电探测器输出的差分信号为Hi或超过预定阈值时,通过将偏移时间写入帧存储器的地址,形成二维深度图像,帧存储器的地址对应于光电探测器,并且不包括关于偏移时间的数据。
在根据本发明的第一方面中,该方法还可以包括基于从像素阵列中包括的每个光电探测器输出的差分信号来形成二维深度图像的子帧,并且子帧中仅对应于输出信号的光电探测器的地址的数据被更新。
根据本发明的第二方面提供了一种飞行时间(time-of-flight,ToF)测量系统,包括:
至少一个ToF传感器;
时间计数器;
用于发射脉冲光的至少一个光源,
其中,ToF传感器包括:
光电探测器,包括多个抽头,光电探测器用于输出由于接收在物体上反射并作为反射光返回的光而产生的信号;
比较器,来自多个抽头的输出耦合到比较器,比较器用于输出来自多个抽头的输出的差分信号,
其中,多个抽头被顺序地激活以存储由于光电探测器接收光而产生的信号,
其中,多个抽头被顺序地激活,使得多个抽头中的最后一个抽头的激活的完成从发射脉冲光开始偏移了大于或等于零的偏移时间,
其中,光的发射和多个抽头的激活是随着偏移时间的增加而执行的,直到差分信号超过大于零的预定值,
其中,偏移时间由时间计数器管理,
其中,从光电探测器到物体的距离基于偏移时间来测量。
在根据本发明的第二方面中,在多个抽头被激活多次之后,多个抽头可以输出光电探测器接收的光信号,并存储光电探测器接收的光信号。
在根据本发明的第二方面中,比较器输出表示为Hi/Low的数字信号。
在根据本发明的第二方面中,当差分信号超过预定阈值时,从光电探测器到物体的距离可以基于偏移时间来测量。
在根据本发明的第二方面中,ToF传感器还可以包括:
电阻器,用于存储每个测量循环的差分信号;
比较电路,用于比较一个测量循环中的差分信号与在一个测量循环之前的测量循环中存储在电阻器中的差分信号,并用于当一个测量循环中的差分信号比存储在电阻器中的差分信号大预定阈值时输出信号。
在根据本发明的第二方面中,光电探测器可以布置成阵列以形成像素阵列,并且ToF测量系统还可以包括逻辑电路,用于基于从光电探测器输出的差分信号来形成二维深度图像的子帧。
在根据本发明的第二方面中,光电探测器可以布置成阵列以形成像素阵列,并且ToF测量系统还可以包括逻辑电路,如果关于偏移时间的数据没有写入到与光电探测器相对应的帧存储器的地址中,则当从每个光电探测器输出的差分信号为Hi或超过预定阈值时,该逻辑电路用于通过将偏移时间写入该地址来形成二维深度图像。
根据本发明的第三方面提供了一种堆叠式传感器芯片,包括根据第一和第二方面中任一方面的系统,该堆叠式传感器芯片包括:
像素阵列芯片,至少包括光电探测器;
电子电路芯片,包括比较器、时间计数器、逻辑电路、电阻器和比较电路中的至少一个,
其中,像素阵列芯片和电子电路芯片堆叠并相互电耦合。
在根据本发明的第三方面中,像素阵列芯片还可以包括用于实现间接ToF测量方法的电子电路。
本发明的技术效果:
根据本发明的方面,提供了一种解决多径反射问题的高分辨率ToF传感器。
附图说明
图1a示意性地示出了根据本发明的第一实施例的ToF系统。
图1b示出了根据本发明的第一实施例的ToF系统的比较器输出的信号。
图2a示出了根据本发明的第一实施例的ToF系统测量到物体的距离的方法的第一测量循环。
图2b示出了根据本发明的第一实施例的ToF系统测量到物体的距离的方法的第二测量循环。
图2c示出了根据本发明的第一实施例的ToF系统测量到物体的距离的方法的第三测量循环。
图2d示出了根据本发明的第一实施例的ToF系统测量到物体的距离的方法的第四测量循环。
图3a示出了根据本发明的第一实施例的ToF系统相对于偏移时间t输出的信号。
图3b示出了根据本发明的第一实施例的ToF系统相对于偏移时间t输出的信号。
图4示意性地示出了根据本发明的第一实施例的ToF系统生成深度图像的方法。
图5示出了图4所示的ToF系统获得子帧的方法的流程图。
图6示出了根据本发明的第二实施例的ToF传感器的示意性电路图。
图7示意性地示出了包括根据本发明的第二实施例的ToF传感器的像素阵列中的子帧。
图8示出了根据本发明的第三实施例的堆叠式传感器芯片的横截面视图。
图9示出了根据本发明的第四实施例的堆叠式传感器芯片的透视图。
图10示出了传统的dToF系统。
图11示出了传统的iToF系统。
具体实施方式
图1(a)示意性地示出了根据本发明的第一实施例的飞行时间测量系统(ToF系统)1。为了简化起见,图1中所示的ToF系统1包括一个飞行时间测量传感器(ToF传感器)2。但是,应注意,ToF系统1可以包括多个ToF传感器2。ToF系统1还包括至少一个光源4、比较器6、时间计数器8和逻辑电路10。
ToF传感器2可以包括光电探测器22和多个抽头。尽管图1(a)所示示例的ToF传感器2包括两个抽头24、26,但应理解,ToF传感器2可以包括三个或更多个抽头。每个抽头可以包括:存储电容器,用于存储光照射光电探测器22而产生的信号电荷;输出端口,用于输出所存储的信号电荷;门,用于控制信号电荷在存储电容器中的存储并从输出端口输出信号电荷。
例如,在图1(a)所示的示例中,至少一个光源4可以包括单个光源4。光源4以预定间隔发射脉冲光。尽管光源4可以发射具有任何波长的光,但红外光可以是优选的,因为红外光对人类是不可见的。
ToF传感器2的多个抽头的输出输入到比较器6。在图1(a)所示的示例中,从两个抽头24、26输出的信号输入到比较器6,以生成差分信号。差分信号可以是通过将从抽头26输出的信号替换从抽头24输出的信号而得到的模拟信号。否则,当从抽头26输出的信号比从抽头26输出的信号大预定阈值或更大时,差分信号可以是由Hi表示的1位数字信号,否则为Low,或表示为1/0,如图1(b)所示。
时间计数器8响应于开始信号的输入开始对时间计数,在经过预定时段后停止对时间计数,并输出经过的时间。下面将讨论ToF系统1中时间计数器8的操作。
逻辑电路10控制ToF系统1的组件,并基于从比较器6输出的差分信号和从时间计数器8输出的经过时间来测量到物体12的距离D。如果比较器6输出数字信号,则可以更清楚地检测从抽头26输出的信号,并且可以提高测量时间ts的精度。此外,优选数字信号从比较器6输出,以便逻辑电路10处理差分信号。在下文中,实施例可以基于比较器6输出数字信号的示例来解释。测量距离D的方法将在下面讨论。
图2示意性地示出了根据本发明的第一实施例的ToF系统1测量到物体12的距离D的方法。
图2a示出了ToF系统1执行由光源4发射脉冲光14的第一子步骤。光14在物体12上反射,作为反射光16返回到ToF传感器2,并在时间ts之后照射光电探测器22。
ToF系统1还执行顺序地激活图2a所示示例中的多个抽头或抽头24、26的第二子步骤,使得多个抽头中的最后一个抽头(图2a所示示例中的抽头26)的激活的完成的定时,,与第一子步骤中脉冲光14的发射的开始匹配。换句话说,从光源4开始发射脉冲光14到完成激活抽头26的偏移时间t为零。在图2a中,抽头24、26的激活是在光14发射之前执行的,时间等于抽头的激活持续时间之和。因此,在图2a中,第二子步骤可以在第一子步骤之前执行。
在第二子步骤中,抽头24被激活预定时段,并存储由于在该时段期间光电探测器22接收光而产生的信号电荷。在抽头24的激活之后,抽头26随后被激活,并存储由于在该时段期间光电探测器22接收光而产生的信号电荷。抽头26的激活周期的持续时间优选地与抽头24的激活的周期的持续时间相同。包括第一子步骤和第二子步骤的第一步骤可以执行一次或多次。优选地,执行第一步骤多次可以对噪声求平均值,例如暗电流的变化、定时电路的抖动和反射光16的返回时间的变化,并提高测量精度。
在图2a所示的示例中,第一步骤在反射光16返回ToF传感器2之前完成。因此,由于光照射光电探测器22而产生的信号电荷不存储在抽头24、26中,并且只能存储由于暗电流和环境光等噪声而产生的电荷。
此后,ToF系统1执行第二步骤,其中,所存储的信号从抽头24、26输出,并输入到比较器6,以输出差分信号。由于光照射光电探测器22而产生的信号电荷不如以上所描述进行存储,所以差分信号较小,例如,表示为Low值。可以通过将从抽头26输出的信号减去从抽头24输出的信号来去除暗电流和环境光等噪声。
ToF系统1的测量循环包括第一步骤和第二步骤。
在测量循环完成之后,再次执行另一个测量循环,如图2b所示。与图2a中所示的情况不同,抽头24、26的激活是如下进行的,即抽头26的激活的完成的定时从光14的发射开始偏移偏移时间t。因此,图2b示出了第二子步骤在第一子步骤之后执行。偏移时间t由时间计数器8管理。图2b还示出了在反射光16返回ToF传感器2之前完成第一步骤。因此,由于光照射光电探测器22而产生的信号电荷不存储在抽头24、26中,所以,在第二步骤中从比较器6输出的差分信号较小,例如,表示为Low值。
在测量循环完成之后,再次执行另一个测量循环,如图2c所示。由于与图2b的情况相比,从光14的发射开始到抽头26的激活的完成的偏移时间t增加,所以在抽头26的激活期间,反射光16返回到ToF传感器2。因此,由于光照射光电探测器22而产生的信号电荷存储在抽头26中。例如,从比较器6输出的差分信号表示为Hi的值。
在图2c所示的测量循环完成之后,再次执行另一个测量循环,如图2d所示。由于偏移时间t进一步增加,所以反射光16在抽头24的激活期间返回到ToF传感器2。因此,由于光照射光电探测器22而产生的信号电荷存储在抽头24中。例如,从比较器6输出的差分信号表示为Low值。
图3a和图3b示出了从比较器6输出的差分信号的曲线图,差分信号即当比较器6输出模拟信号时,从抽头26的输出中减去抽头24的输出相对于偏移时间t的值。图3a示出了通过将从抽头26输出的信号减去从抽头24输出的信号作为模拟信号而获得的差分信号。图3b示出了当从抽头26输出的信号比从抽头24输出的信号大预定阈值或更大时,表示为Hi的一位数字信号,否则表示为Low,或表示为1/0。图3(a)中所示的实线表示不存在多径反射时的差分信号,虚线表示存在多径反射时的差分信号,其中,在物体12上反射的光在照射光电探测器22之前还在另一个物体上反射。当发生多径反射时,部分反射光返回到光电探测器的时间比直接返回到光电探测器的反射光晚。因此,曲线的形状具有一个低峰,该低峰具有朝向时间经过的方向的长尾。当偏移时间t与反射光16的返回时间ts相同时,换句话说,当抽头26的激活的完成与反射光16的返回的时间相同时,比较器6开始输出正信号,并且信号随着偏移时间t的增加而增长。当偏移时间t进一步增加并且反射光16在抽头24的激活期间开始照射光电探测器时,从比较器6输出的差分信号开始减少。当在抽头24的激活期间照射光电探测器的反射光16的量大于在抽头26的激活期间照射光电探测器的反射光16的量时,差分信号变为负。当偏移时间t进一步增加时,差分信号回到零。在图3b的情况下,即使在抽头26的激活期间照射光电探测器22的反射光16的强度降低,并且反射光16的持续时间由于多径反射而变得更长,在抽头26的激活期间照射的反射光16的强度仍然大于在抽头24的激活期间照射的反射光16的强度,所以比较器6继续输出Low值。因此,即使发生多径反射,相对于偏移时间t的输出信号也不会改变。
如果发生多径问题,其中,在物体12上反射的光在照射光电探测器22之前在另一个物体上反射,则多径反射光18照射光电探测器22比直接从物体12返回到光电探测器22的反射光16晚。因此,反射光的脉冲变得比发射光14的脉冲长。随着偏移时间t的增加,这会导致比较器6的差分信号的较低峰值和较长尾,如图3所示。但是,提高差分信号的偏移时间ts指示反射光16返回到光电探测器22的最短时间,即,直接从物体返回的反射光16的飞行时间(无论多径反射光18如何)。因此,到物体12的距离D可以基于偏移时间ts来测量,该偏移时间ts在不受多径反射影响的情况下提高差分信号。
由于到物体12的距离D可以通过测量时间ts来测量,所以没有必要在偏移时间t超过时间ts之后执行测量循环,如图2c和图2d所示。
图4示意性地示出了根据第一实施例的ToF系统1生成二维映射到物体12的距离D深度图像的方法。
图4示出了ToF系统1可以包括像素阵列30,像素阵列30具有布置成阵列的多个ToF传感器2。例如,ToF系统1可以包括一个比较器6和用于像素阵列30的每列的锁存器电路32。例如,可以为输入到比较器6的每一列收集ToF传感器2的输出。只有像素阵列30的特定行中的ToF传感器2将信号从抽头输出到比较器6,并且差分信号可以由每列的锁存器电路32顺序地输出到逻辑电路10。时间计数器8管理ToF传感器2的换档时间t。从所有行输出的信号可以作为子帧存储在帧存储器34中。从每个ToF传感器2到物体12的距离D是通过在增加偏移时间t的同时获得子帧来测量的。通过对所获得的子帧进行积分,可以生成最终的二维深度图像。
图5示出了图4所示的ToF系统1获得子帧的方法的流程图。在步骤101中,逻辑电路10对像素阵列30的每个ToF传感器2执行测量循环。在步骤102中,每列和某行中的ToF传感器2输出光接收信号。在步骤103中,基于来自每行中的ToF传感器2的光接收信号,确定从每列中的比较器6输出的每个差分信号。如果来自比较器6的差分信号为Low,则该不执行步骤104至106,而是循环执行步骤107。如果差分信号是Hi,则该循环进入步骤104。在步骤104中,与ToF传感器2对应的地址的子帧数据从帧存储器34加载到逻辑电路10。在步骤105中,确定是否在所加载的地址的子帧数据中写入关于偏移时间t的数据。如果数据存在,则该不执行循环步骤106,而是执行步骤107。如果数据为空,则在步骤106中,关于偏移时间t的数据被写入该地址。在步骤107中,如果没有完成子帧中所有行和所有列的ToF传感器2的差分信号的获得,则该循环返回到步骤102,并从下一行或列的ToF传感器2输出光接收信号。如果ToF传感器2在所有行和所有列中的差分信号被完全获得并且子帧完成,则随着偏移时间t的增加,该循环返回到步骤101,以执行下一个子帧的测量循环。对于在某行中的每列中的每个ToF传感器2,从步骤103到106的逻辑操作可以通过提供多个电路组并行执行。这些步骤重复预定次数或直到偏移时间t达到预定时间,以便生成二维深度图像,其中,反射光16的返回的偏移时间t被写入ToF传感器2的每个地址,即,其中,为ToF传感器2的每个地址映射到物体的距离。
但是,图4和图5所示的方法显著增加了从像素阵列30输出到控制将数据写入帧存储器34的逻辑电路10的所有子帧的数据总量,以便生成一个二维深度图像,因为即使从每个ToF传感器2输出的数据是一位,来自所有ToF传感器2的数据也被传输到逻辑电路10。为了减少数据量,事件驱动类型系统是已知的。事件驱动类型系统的每个ToF传感器输出的数据由每个ToF传感器本身监控。只有当输出超过阈值水平时,才会激发像素并输出像素的地址。由于每个子帧仅包括输出超过阈值水平的像素的地址,所以这减少了从像素阵列30输出到控制将数据写入帧存储器34的逻辑电路10的数据总量。
图6示出了根据本发明的第二实施例的ToF传感器2的示意性电路图,该ToF传感器2实现了事件驱动类型的系统。图7示出了当激发一个像素时,包括根据第二实施例的ToF传感器2的像素阵列30的子帧的示意图。
图6示出了包括光电探测器22的ToF传感器2,光电探测器22包括多个抽头。尽管图6所示的光电探测器22包括(例如)两个抽头24、26,但光电探测器22可以包括三个或更多个抽头。例如,来自抽头24、26的输出耦合到比较器6。
由于用于操作具有这种配置的ToF传感器2的方法类似于参考图2针对第一实施例描述的方法,所以不再详细描述。示意性地,随着从光源(图6中未示出)发射光14开始到第二抽头26的激活的完成的偏移时间t增加,ToF传感器2重复地执行光14的发射和第一抽头24和第二抽头26的激活。从第一抽头24输出的信号和从第二抽头26输出的信号输入到比较器6。如果偏移时间t等于从光14的发射到在物体12上反射的反射光16的返回的时间ts,则反射光16在第二抽头26的激活期间照射光电探测器22,并且从比较器6输出的信号变为Hi。因此,测量从光14的发射到反射光16返回到光电探测器22的时间ts,即到物体12的距离。
图6所示的比较器6的输出耦合到电阻器36和比较电路38。电阻器36将比较器6的输出存储在先前子帧中,作为Hi或Low数据值。比较电路38对比较器6的输出和存储在电阻器36中的数据进行比较。如果比较器6的输出是Low,则比较电路38不输出Hi,并且Low数据值在下一个子帧之前存储在电阻器36中。如果当电阻器36处于Low状态时,比较器6的输出是Hi,则比较电路38输出Hi,并且电阻器36存储Hi。比较器电路38输出Hi的状态被称为“包括ToF传感器2的像素被激发的状态”。如果像素被激发并且电阻器36存储Hi,则比较电路38不再输出Hi,并且像素不再被激发,直到完成下一个子帧之后的所有子帧并且重置整个像素阵列。
图7示出了其中仅激发像素阵列30中的像素22-1的子帧。当行扫描到达该子帧中包括激发像素22-1的行时,检测对应于激发像素22-1的列。因此,像素22-1的行和列的数据作为地址输出。当像素22-1被激发时,该子帧的偏移时间t(即偏移时间t)写入帧存储器34中对应于像素22-1的地址的地址中。因此,从像素22-1到物体12的距离被写入帧存储器34中。
通过重复该操作预定次数,可以获得二维深度图像。
图8示出了根据本发明的第三实施例的堆叠式传感器芯片40的横截面视图。堆叠式传感器芯片40包括堆叠式结构,该堆叠式结构包括像素阵列芯片42和电子电路芯片44。像素阵列芯片42可以包括布置成阵列的光电探测器22,以及耦合到每个光电探测器22的多个抽头,例如抽头24、26。电子电路芯片44可以包括:控制电路,用于控制光源4和像素阵列芯片42中包括的抽头24、26;比较器6,抽头24、26的输出通过耦合部分46耦合到该比较器6;时间计数器8;逻辑电路10;电阻器36和比较电路38,并且可以包括其它附加电路。像素阵列芯片42中包括的光电探测器22和抽头24、26以及电子电路芯片44中包括的比较器6可以构成ToF传感器2。
根据本发明的实施例的ToF系统1可以包括各种外围电路,例如如以上所描述的控制电路、压实机、时间计数器、逻辑电路、电阻器和比较电路。因此,如果ToF系统1的所有组件集成在一个芯片中,则会阻碍每个像素的小型化。但是,通过将ToF系统1分成像素阵列芯片42和电子电路芯片44并堆叠它们,每个像素和整个ToF系统1都可以小型化。ToF系统1的操作也可以通过并联电路来加速。还可以通过减小光电探测器22与电子电路之间的距离来抑制操作的延迟。此外,由于像素阵列芯片42和电子电路芯片44是在单独的工艺中制造的,并在最后步骤中相互耦合,所以可以简化制造工艺。由于包括多个像素阵列芯片42的晶片和包括多个电子电路芯片44的晶片被晶片键合并分成芯片,所以可以进一步简化制造工艺。
图9示出了根据本发明的第四实施例的堆叠式传感器芯片50的透视图。根据第四实施例的堆叠式传感器芯片50包括堆叠式结构,其中,包括布置成阵列的多个ToF传感器2的像素阵列芯片52和电子电路芯片54通过耦合部分56堆叠在一起。
与第三实施例的堆叠式传感器芯片40的电子电路芯片44类似,电子电路芯片54可以包括如图9所示的电路块58和59。电路块58可以包括:控制电路,用于控制光源4和像素阵列芯片52的抽头,以实现参考第一实施例和第二实施例描述的ToF传感器2的操作;比较器6;电阻器36;比较电路38。电路块60可以包括时间计数器8、逻辑电路10,可选地包括其它附加电路。
另一方面,像素阵列芯片52可以包括用于实现传统间接飞行时间测量方法的间接TOF系统逻辑电路62。由于根据本实施例的堆叠式传感器芯片50中包括的ToF传感器2包括多个抽头,所以ToF传感器2可以用作参考图11描述的传统间接ToF传感器等。如果需要,这种堆叠式传感器芯片50可以在根据本发明的实施例的传统直接ToF传感器模式、传统间接ToF传感器模式和ToF传感器模式中选择合适的操作模式。
尽管本发明的实施例已经作为示例进行了说明,但本领域技术人员将容易理解,在不偏离本发明的精神和范围的情况下,可以实施各种修改和变化。
名称
1:ToF系统
2:ToF传感器
22:光电探测器
22-1:激发像素
24、26:抽头
4:光源
6:比较器
8:时间计数器
10:逻辑电路
12:物体
14:光
16:反射光
18:多径反射
30:像素阵列
32:锁存电路
34:帧存储器
36:电阻器
38:比较电路
40:堆叠式传感器芯片
42:像素阵列芯片
44:电子电路芯片
46:耦合部分
50:堆叠式传感器芯片
52:像素阵列芯片
54:电子电路芯片
56:耦合部分
58、60:电路块
62:间接ToF系统的逻辑电路
102:传统的dToF传感器
108:时间计数器
112:物体
114:光
116:反射光
202:传统的iToF传感器
212:物体
214:光
216:反射光
224、226:抽头
Claims (16)
1.一种用于测量从光电探测器到物体的距离的方法,其特征在于,所述方法执行测量循环,所述测量循环包括:
第一步骤,执行一次或多次,所述第一步骤包括:
第一子步骤,用于从至少一个光源发射脉冲光;
第二子步骤,用于在预定时段内顺序地激活包括多个抽头的所述光电探测器的每个抽头,以存储由于所述光电探测器接收光而产生的信号,其中,所述多个抽头被顺序地激活,使得所述多个抽头中的最后一个抽头的激活的完成从所述脉冲光的发射开始偏移了大于或等于零的预定偏移时间,
第二步骤,用于从所述抽头输出所述存储的信号,并输出所述输出信号的差分信号,其中,所述脉冲光在所述物体上反射,并作为反射光返回到所述光电探测器,
其中,随着所述偏移时间的增加,重复所述测量循环,直到所述反射光在所述多个抽头中的任何一个抽头的激活时段期间返回到所述光电探测器,并且所述差分信号成为大于零的预定值,
其中,从所述光电探测器到所述物体的所述距离基于所述测量循环的所述偏移时间来测量,在所述偏移时间中,所述反射光在多个抽头中的任何一个抽头的所述激活时段期间返回到所述光电探测器。
2.根据权利要求1所述的方法,其特征在于,所述第一步骤执行多次。
3.根据权利要求1所述的方法,其特征在于,所述差分信号是表示为Hi/Low的数字信号,
其中,当从所述多个抽头中的所述最后一个激活抽头输出的信号大于从其它抽头输出的信号时,所述差分信号为Hi。
4.根据权利要求1所述的方法,其特征在于,当所述差分信号超过预定阈值时,从所述光电探测器到所述物体的所述距离基于所述偏移时间来测量。
5.根据权利要求1所述的方法,其特征在于,在每个测量循环中,所述差分信号存储在电阻器中,
其中,当一个测量循环中的差分信号比在所述一个测量循环之前的测量循环中存储在所述电阻器中的所述差分信号大预定阈值时,输出所述信号。
6.根据权利要求1至5中任一项所述的方法,其特征在于,还包括,当从像素阵列中包括的每个光电探测器输出的差分信号为Hi或超过预定阈值时,通过将所述偏移时间写入帧存储器的地址,形成二维深度图像,所述帧存储器的所述地址对应于所述光电探测器,并且不包括关于偏移时间的数据。
7.根据权利要求5所述的方法,其特征在于,还包括基于从像素阵列中包括的每个光电探测器输出的差分信号来形成二维深度图像的子帧,
其中,所述子帧中仅对应于输出所述信号的所述光电探测器的所述地址的数据被更新。
8.一种飞行时间(time-of-flight,ToF)测量系统,其特征在于,包括:
至少一个ToF传感器;
时间计数器;
用于发射脉冲光的至少一个光源,
其中,所述ToF传感器包括:
光电探测器,包括多个抽头,所述光电探测器用于输出由于接收在物体上反射并作为反射光返回的光而产生的信号;
比较器,来自所述多个抽头的输出耦合到所述比较器,所述比较器用于输出来自所述多个抽头的输出的差分信号,
其中,所述多个抽头被顺序地激活以存储由于所述光电探测器接收光而产生的信号,
其中,所述多个抽头被顺序地激活,使得所述多个抽头中的最后一个抽头的激活的完成从所述脉冲光的发射开始偏移了大于或等于零的偏移时间,
其中,所述光的发射和所述多个抽头的激活是随着所述偏移时间的增加而执行的,直到所述差分信号超过大于零的预定值,
其中,所述偏移时间由所述时间计数器管理,
其中,从所述光电探测器到所述物体的所述距离基于所述偏移时间来测量。
9.根据权利要求8所述的系统,其特征在于,在所述多个抽头被激活多次之后,所述多个抽头输出所述光电探测器接收的光信号,并存储所述光电探测器接收的所述光信号。
10.根据权利要求8所述的系统,其特征在于,所述比较器输出表示为Hi/Low的数字信号。
11.根据权利要求8所述的系统,其特征在于,当所述差分信号超过预定阈值时,从所述光电探测器到所述物体的所述距离基于所述偏移时间来测量。
12.根据权利要求8所述的系统,其特征在于,所述ToF传感器还包括:
电阻器,用于存储每个测量循环的差分信号;
比较电路,用于比较一个测量循环中的差分信号与在所述一个测量循环之前的测量循环期间存储在所述电阻器中的所述差分信号,并用于当所述一个测量循环中的所述差分信号比存储在所述电阻器中的所述差分信号大预定阈值时输出信号。
13.根据权利要求8所述的系统,其特征在于,所述光电探测器布置成阵列以形成像素阵列,
所述ToF测量系统还包括逻辑电路,用于基于从所述光电探测器输出的所述差分信号来形成二维深度图像的子帧。
14.根据权利要求12所述的系统,其特征在于,所述光电探测器布置成阵列以形成像素阵列,
当从每个光电探测器输出的差分信号为Hi或超过预定阈值时,所述ToF测量系统还包括逻辑电路,用于如果关于所述偏移时间的数据没有写入所述帧存储器的对应于所述光电探测器的地址中,则通过将所述偏移时间写入所述地址中来形成二维深度图像。
15.一种堆叠式传感器芯片,其特征在于,包括根据权利要求8至14任一项所述的系统,所述堆叠式传感器芯片包括:
像素阵列芯片,至少包括所述光电探测器;
电子电路芯片,包括所述比较器、所述时间计数器、所述逻辑电路、所述电阻器和所述比较电路中的至少一个,
其中,所述像素阵列芯片和所述电子电路芯片堆叠并相互电耦合。
16.根据权利要求15所述的堆叠式传感器芯片,其特征在于,所述像素阵列芯片还包括用于实现间接ToF测量方法的电子电路。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2020/115685 WO2022056743A1 (en) | 2020-09-16 | 2020-09-16 | Method for measuring distance using time-of-flight method and system for measuring distance |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116097127A true CN116097127A (zh) | 2023-05-09 |
Family
ID=80775799
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080103819.4A Pending CN116097127A (zh) | 2020-09-16 | 2020-09-16 | 使用飞行时间法测量距离的方法和测量距离的系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN116097127A (zh) |
WO (1) | WO2022056743A1 (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020036765A1 (en) * | 2000-08-09 | 2002-03-28 | Mccaffrey Nathaniel Joseph | High resolution 3-D imaging range finder |
WO2018160886A1 (en) * | 2017-03-01 | 2018-09-07 | Ouster, Inc. | Accurate photo detector measurements for lidar |
US20190170866A1 (en) * | 2017-12-05 | 2019-06-06 | Sharp Kabushiki Kaisha | Photoreceptor, flight time measurement device, and optical radar |
CN110221274A (zh) * | 2019-05-09 | 2019-09-10 | 深圳奥比中光科技有限公司 | 时间飞行深度相机及多频调制解调的距离测量方法 |
US20200217965A1 (en) * | 2019-01-04 | 2020-07-09 | Sense Photonics, Inc. | High dynamic range direct time of flight sensor with signal-dependent effective readout rate |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5576851B2 (ja) * | 2011-12-27 | 2014-08-20 | 本田技研工業株式会社 | 測距システム及び測距方法 |
CN103344962B (zh) * | 2013-07-12 | 2014-12-31 | 北京理工大学 | 一种基于光路差分的激光脉冲测距方法 |
JP2018137569A (ja) * | 2017-02-21 | 2018-08-30 | ソニーセミコンダクタソリューションズ株式会社 | 測距装置、および測距方法 |
JP7044107B2 (ja) * | 2017-05-11 | 2022-03-30 | ソニーグループ株式会社 | 光センサ、及び、電子機器 |
CN209356671U (zh) * | 2018-02-07 | 2019-09-06 | 苏州镭图光电科技有限公司 | 一种激光雷达背景暗噪声响应消除装置 |
CN110133675B (zh) * | 2019-06-10 | 2021-07-23 | 炬佑智能科技(苏州)有限公司 | 发光测距的数据处理方法、装置、电子设备与光处理电路 |
-
2020
- 2020-09-16 WO PCT/CN2020/115685 patent/WO2022056743A1/en active Application Filing
- 2020-09-16 CN CN202080103819.4A patent/CN116097127A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020036765A1 (en) * | 2000-08-09 | 2002-03-28 | Mccaffrey Nathaniel Joseph | High resolution 3-D imaging range finder |
WO2018160886A1 (en) * | 2017-03-01 | 2018-09-07 | Ouster, Inc. | Accurate photo detector measurements for lidar |
US20190170866A1 (en) * | 2017-12-05 | 2019-06-06 | Sharp Kabushiki Kaisha | Photoreceptor, flight time measurement device, and optical radar |
US20200217965A1 (en) * | 2019-01-04 | 2020-07-09 | Sense Photonics, Inc. | High dynamic range direct time of flight sensor with signal-dependent effective readout rate |
CN110221274A (zh) * | 2019-05-09 | 2019-09-10 | 深圳奥比中光科技有限公司 | 时间飞行深度相机及多频调制解调的距离测量方法 |
Non-Patent Citations (1)
Title |
---|
段争光;: "基于4相位剖面的距离测量方法", 激光与红外, no. 07, 20 July 2020 (2020-07-20) * |
Also Published As
Publication number | Publication date |
---|---|
WO2022056743A1 (en) | 2022-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6823815B2 (ja) | 固体撮像装置、距離測定装置および距離測定方法 | |
US11204421B2 (en) | Distance measuring device | |
US11644551B2 (en) | Lidar systems with improved time-to-digital conversion circuitry | |
CN110632576B (zh) | 时间编码解调处理电路及方法 | |
US20220286664A1 (en) | Detection device and detection method using avalanche diode array and calibration matrix generating method thereof | |
US20230197759A1 (en) | Pixel circuit and method of operating the same in an always-on mode | |
CN110895336B (zh) | 基于雪崩二极管的物体检测装置 | |
US11169270B2 (en) | Solid-state imaging device | |
JPWO2019050024A1 (ja) | 距離測定方法および距離測定装置 | |
CN116097127A (zh) | 使用飞行时间法测量距离的方法和测量距离的系统 | |
US7907258B2 (en) | Method of detecting a light pulse reflected on an object to determine the distance from the object, sensor and device for implementing same | |
CN114829970A (zh) | 飞行时间成像电路、飞行时间成像系统和飞行时间成像方法 | |
US20230221439A1 (en) | Addressing redundant memory for lidar pixels | |
US11849229B2 (en) | Image capturing apparatus having photon detection and control method therefor | |
JP7384931B2 (ja) | 分配された光電子倍増管を伴う高空間解像度の固体画像センサ | |
CN116113844A (zh) | 间接ToF传感器、堆叠式传感器芯片以及使用该传感器和芯片测量到物体的距离的方法 | |
US20220285420A1 (en) | Photodetector, solid-state imaging device, and distance measuring device | |
CN112114328B (zh) | 飞时测距装置 | |
US20230213626A1 (en) | Lidar systems with reduced inter-chip data rate | |
CN112114328A (zh) | 飞时测距装置 | |
CN115308718A (zh) | 飞行时间测距方法、飞行时间测距装置、电子设备及计算机可读存储介质 | |
CN112526528A (zh) | 光检测器和距离测定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |