CN105763788B - 用于飞行时间成像系统的校准电路及方法 - Google Patents

用于飞行时间成像系统的校准电路及方法 Download PDF

Info

Publication number
CN105763788B
CN105763788B CN201510319589.6A CN201510319589A CN105763788B CN 105763788 B CN105763788 B CN 105763788B CN 201510319589 A CN201510319589 A CN 201510319589A CN 105763788 B CN105763788 B CN 105763788B
Authority
CN
China
Prior art keywords
pixel
flight time
signal
response
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510319589.6A
Other languages
English (en)
Other versions
CN105763788A (zh
Inventor
郭健
王睿
代铁军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnivision Technologies Inc
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Publication of CN105763788A publication Critical patent/CN105763788A/zh
Application granted granted Critical
Publication of CN105763788B publication Critical patent/CN105763788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请案涉及用于飞行时间成像系统的校准电路及方法。一种飞行时间成像系统包含：光源，所述光源经耦合以响应于光源调制信号发射光脉冲到物体，所述光源调制信号是响应于参考调制信号而产生的。飞行时间像素单元阵列的每一像素单元经耦合以响应于像素调制信号感测从所述物体反射的光脉冲。可编程的像素延迟线电路经耦合以产生具有响应于像素编程信号而编程的可变像素延迟的所述像素调制信号。控制电路经耦合以接收来自所述飞行时间像素阵列的代表所述感测到的反射光脉冲的像素信息。所述控制电路经耦合以在校准模式期间改变所述像素编程信号以使从所述光源发射的所述光脉冲与所述像素调制信号的所述脉冲同步。

Description

用于飞行时间成像系统的校准电路及方法
技术领域
本发明涉及图像传感器。特定来说，本发明的实施例涉及三维图像传感器。
背景技术
随着3D应用在例如多媒体、基于手势的人机接口、汽车及类似物的应用中越来越流行，对三维(3D)摄像机的兴趣也在增加。创建3D图像的典型被动方式为使用多个摄 像机以捕获立体图像或多个图像。使用所述立体图像，在所述图像中的物体可被三角测 量以创建3D图像。此三角测量技术的一劣势为，使用小装置来创建3D图像是困难的， 因为为了创建三维图像，在每一摄像机之间必须存在最小分隔距离。另外，此技术很复 杂且因此为了实时创建3D图像需要显著的计算机处理能力。
对于需要实时采集3D图像的应用，有时会利用基于光学飞行时间测量的主动深度成像系统。飞行时间成像系统典型地运用将光引导向物体的光源、检测从所述物体反射 的光的传感器及处理单元，所述处理单元基于光行进到物体及从物体回来所耗费的往返 时间计算到物体的距离。在典型的飞行时间传感器中，通常会使用光电二极管，因为从 光检测区域到感测节点的转换效率高。单独的电路耦合到每一像素单元中的光电二极管 以检测并测量从物体反射的光。
现有的3D互补金属氧化物半导体(CMOS)成像器通常利用飞行时间成像系统使用电荷调制来提取多种成像物体的距离信息。为了达到高深度分辨率，通常利用昂贵的具 有陡峭的上升/下降沿及广泛的后信号处理的激光触发系统以补偿电子系统中固有的延 迟。
发明内容
本发明的一实施例涉及一种飞行时间成像系统。所述系统包括：光源，其经耦合以响应于光源调制信号的相应脉冲发射光脉冲到物体，其中所述光源调制信号是响应于参考调制信号而产生；飞行时间像素单元阵列，其包含多个像素单元，其中所述多个像素 单元的每一者经耦合以响应于像素调制信号的相应脉冲感测从所述物体反射回的所反 射光脉冲；可编程的像素延迟线电路，其经耦合以响应于所述参考调制信号产生所述像 素调制信号，其中所述像素调制信号经耦合以具有响应于像素编程信号而编程的可变像 素延迟；以及控制电路，其经耦合以接收来自所述飞行时间像素阵列的代表由所述飞行 时间像素阵列感测到的所述反射光脉冲的像素信息，其中所述控制电路经耦合以在校准 模式期间响应于从所述飞行时间像素阵列接收的像素信息改变所述像素编程信号以使 从所述光源发射的所述光脉冲与所述像素调制信号的所述脉冲同步。
本发明的另一实施例涉及一种校准飞行时间成像系统的方法，所述方法包括：初始 化具有N位的像素编程信号到初始值，其中所述像素编程信号包含粗略分辨率部分及精细分辨率部分；响应于参考调制信号从光源发射光脉冲到物体；响应于所述像素编程信 号延迟所述参考调制信号以产生像素调制信号；响应于所述像素调制信号用飞行时间像 素单元阵列感测从所述物体反射的所述光脉冲；响应于用所述飞行时间像素单元阵列感 测到的所述光脉冲，在所述像素编程信号的所述粗略分辨率部分的粗略范围中执行粗略 分辨率扫描以识别所述像素编程信号的所述粗略分辨率部分的最大粗略分辨率估计；设 定所述像素编程信号的所述粗略分辨率部分等于所述最大粗略分辨率估计；响应于用所 述飞行时间像素单元阵列感测到的所述光脉冲，在所述像素编程信号的所述精细分辨率 部分的精细范围中执行精细分辨率扫描以识别所述像素编程信号的所述精细分辨率部 分的最大精细分辨率估计；以及设定所述像素编程信号的所述精细分辨率部分等于所述 最大精细分辨率估计。
附图说明
参考以下诸图描述本发明的非限制性及非详尽实施例，其中相似的参考数字指代贯 穿各种视图的相似部件，除非另有说明。
图1为根据本发明的教示的展示包含具有校准模式的控制电路的飞行时间成像系统 的一实例的框图。
图2为根据本发明的教示的说明在校准期间更详细的包含控制电路的飞行时间成像 系统的另一实例的框图。
图3为根据本发明的教示的说明可编程的延迟电路的实例的框图。
图4为根据本发明的教示的展示在飞行时间图像感测系统的校准期间参考调制信号、校准光脉冲、像素调制信号及所感测电荷的实例的时序图。
图5为根据本发明的教示的说明在实例飞行时间成像系统的校准期间执行的处理的 一实例的流程图。
相应的参考字符指示贯穿诸图中几个视图的相应组件。技术人员应了解，为了简单 且清楚的目的说明图中的元件，不一定按比例绘制元件。举例来说，图中一些元件的尺寸可相对于其它元件而被夸大以帮助改善对本发明的多种实施例的理解。并且，为了更 方便地了解本发明的这些多种实施例，通常不描绘在商业可行的实施例中有用或必要的 常见但好理解的元件。
具体实施方式
揭示了用于校准飞行时间成像系统中的飞行时间像素单元的方法及电路。在以下描 述中，陈述多个特定细节以提供对实施例的透彻理解。然而，相关领域的技术人员应认识到，本文所描述的技术可被实践而不需一或多个特定细节，或使用其它方法、组件、 材料等。在其它例子中，未详细展示或描述众所周知的结构、材料或操作以避免模糊某 些方面。
贯穿此说明书对“一实施例”或“实施例”的提及意味着与实施例相结合而描述的特定特征、结构或特性包含于本发明的至少一实施例中。因此，短语“在一实施例中” 或“在实施例中”在贯穿此说明书的多个地方的出现并不必定都指代相同的实施例。此 外，在一或多个实施例中特定的特征、结构或特性可以任何合适的方式被组合。
贯穿此说明文，使用几个专门术语。这些术语具有在它们出自的领域中的普通含义， 除非本文明确定义或它们的使用上下文另有清楚地显示。举例来说，术语“或”是在包含意义(举例来说，如在“及/或”中)中使用的，除非上下文清楚地另外指示。
如将被展示，揭示了提供低成本的基于CMOS的3D成像系统的快速及准确的校准电路及方法的实例，揭示了作为光学触发源的例如LED的光源。所述揭示的校准电路 及技术的实例补偿了整个系统中从LED到电子快门电路的延迟。在多种实例中，飞行 时间成像系统包含校准架构，所述校准架构利用芯片上可编程延迟线来执行光源与图像 传感器之间的延迟差的灵活及十分高效的校准。在多种实例中，根据本发明的教示，所 揭示的校准电路及技术可以最小硬件成本及能力消耗为代价达到亚纳秒准确性。
为了说明，图1为根据本发明的教示的展示包含校准电路的飞行时间成像系统100的一实例的框图。如所示，飞行时间成像系统100包含发射光脉冲的光源102，光脉冲 在图1中被说明为发射的光104。如所示，发射的光104被引导到物体106。在一实例 中，发射的光104包含红外(IR)光脉冲。根据本发明的教示，应了解，在其它实例中， 发射的光104可具有除红外之外的波长，例如举例来说可见光、近红外光等。接着发射 的光104被从物体106反射回来，在图1中其被展示为反射回的光108。如所示，反射 的光108从物体106被引导穿过透镜110且接着被聚焦到飞行时间像素单元阵列112上。 在一实例中，飞行时间像素单元阵列112包含布置成二维阵列的多个飞行时间像素单元。
如在描绘的实例中所示，光源102经耦合以响应于从第一延迟电路118中接收到的光源调制信号114发射光104，第一延迟电路118耦合到控制电路116。飞行时间像素 单元阵列112经耦合以响应于从第二延迟电路120接收到的像素调制信号122感测反射 回的光108，第二延迟电路120也耦合到控制电路116。如以下将被更详细讨论的，控 制电路116包含校准模式，所述校准模式根据本发明的教示利用第一电路118及第二延 迟电路120来使光源调制信号114及像素调制信号122同步。
在图1中描绘的实例中，应注意飞行时间像素单元阵列112被定位到透镜110的焦距flens处。如实例中所示，光源102及透镜110被定位到离物体的距离为L处。在一实 例中，应注意，透镜110可用多个被集成到飞行时间像素单元阵列112中的微透镜实施。 当然应了解，图1不是按比例说明的且在一实例中，焦距flens实质上比透镜110与物体 106之间的距离L小。因此，应了解，为了本发明的目的，根据本发明的教示，为了飞 行时间测量的目的，距离L及距离L+焦距flens实质上相等。另外，还应了解，为了本 发明的目的，根据本发明的教示，为了飞行时间测量的目的，光源102与物体106之间 的距离以及物体106与透镜110之间的距离两者也实质上等于L。因此，光源102与物 体106之间的距离(及/或物体106与透镜110之间的距离)等于往返距离(举例来说，D) 的一半，因此D等于2xL。换句话说，根据本发明的教示，假设从光源102到物体106 的距离L加从物体106返回到透镜110的距离L等于往返距离D(或2xL)。
在描绘的实例中，在发射的光104的光脉冲发射与在反射的光108中接收到所述光脉冲之间存在延迟时间，这是由光脉冲从光源102行进距离L到物体106所耗费的时间 量及接着对应的反射光脉冲108从物体106行进距离L回到像素单元阵列112所耗费的 额外时间所引起的。发射的光104与反射的光108之间的延迟时间表示光脉冲在光源102 与物体106之间进行往返的飞行时间。一旦飞行时间(即，TOF)已知，从光源102到物 体106的距离L可使用以下等式1及2中的以下关系来确定：
其中c为光速，其大约等于3x 108m/s，且TOF为如图1中所示的光脉冲行进到物 体及从物体返回所耗费的时间量。
图2为根据本发明的教示的说明在校准期间的包含控制电路的飞行时间成像系统的 另一更详细实例的框图。在图2描绘的实例中，芯片240包含具有校准模式的控制电路216，校准模式利用两个可编程的延迟线电路218及220以提供从光源202发射的实际 光脉冲204与像素调制信号222中的电荷调制脉冲之间的准确的同步，所述电荷调制脉 冲被用以根据本发明的教示控制飞行时间像素阵列212以感测被入射到飞行时间像素阵 列212上的反射光脉冲208。
特定来说，如所描绘的实例中所示，在校准飞行时间成像系统200期间，校准反射器207被定位到光源202及飞行时间像素单元阵列212的前部。结果，光脉冲204作为 反射的光脉冲208被从校准反射器207反射到飞行时间像素阵列212。在所说明的实例 中，校准反射器207在校准期间被定位在离光源202及飞行时间像素单元阵列212相对 近的距离(举例来说，约0.1米)。结果，入射到飞行时间像素单元阵列212的反射光脉 冲208的光学信号由于紧密靠近校准反射器207而相对强。
在图2说明的实例中，飞行时间像素单元阵列212为飞行时间像素单元(举例来说，像素单元P1、P2……Pn)的二维(2D)阵列。如所说明的，每一像素单元P1、P2……Pn被 布置在行(举例来说，行R1到Rx)及列(举例来说，列C1到Cy)以响应于由可编程像素 延迟线电路220产生的像素调制信号222的相应脉冲感测从校准反射器207反射回的反 射光脉冲208。
如实例中所示，可编程的像素延迟线电路220经耦合以通过根据像素编程信号228延迟参考调制信号224而产生像素调制信号222，像素编程信号228通过控制电路216 产生。如以下更加详细讨论的，可编程的像素延迟线电路220经耦合以提供可变像素延 迟，其被编程以响应于像素编程信号228以使从光源202发射的光脉冲204与像素调制 信号222中的脉冲同步，像素调制信号222中的脉冲被用以根据本发明的教示控制飞行 时间像素阵列212以感测反射的光脉冲208。在一实例中，像素控制电路232经耦合以 接收像素调制信号222来产生控制信号242，控制信号242经耦合以响应于像素调制信 号222的脉冲控制包含于飞行时间像素单元阵列212中的像素单元以感测反射的光脉冲 208。
在图2描绘的实例中，光源202经耦合以响应于光源调制信号214的相应脉冲发射光脉冲204到校准发射器207，光源调制信号214经耦合以经过驱动器电路230被从可 编程的光源延迟线电路218接收。如所示，可编程的光源延迟线电路218经耦合以通过 根据光源编程信号226延迟参考调制信号224而产生光源调制信号214，光源编程信号 226经耦合以被从控制电路216接收。在一实例中，可编程的光源延迟线电路218有能 力提供可变像素延迟，可变像素延迟是响应于光源编程信号226而被编程。
在一实例中，控制电路216设定光源编程信号226到固定的中间值且接着改变像素编程信号228以使从光源202发射的光脉冲204与像素调制信号222中的脉冲同步，像 素调制信号222中的脉冲被用以根据本发明的教示控制飞行时间像素阵列212。特定来 说，控制电路116经耦合以从飞行时间像素阵列212接收像素信息238，像素信息238 代表由飞行时间像素阵列212观察到的反射光脉冲208。
在操作中，根据本发明的教示，控制电路216经耦合以在校准模式期间响应于从飞行时间像素阵列212接收到的像素信息238改变像素编程信号228以使从光源202发射 的光脉冲208与像素调制信号222的脉冲同步。
在描绘的实例中，像素编程信号228及光源编程信号226两者都为N位数字信号。例如，在一实例中，N＝8，且像素编程信号228及光源编程信号226因此两者都为8位 数字信号。
在所说明的实例中，控制电路216经耦合以通过读出电路234从飞行时间像素阵列212接收像素信息238。例如，在一实例中，在飞行时间像素单元阵列212中的像素单 元P1、P2……Pn由读出电路232通过位线读出。读出电路234还可包含放大器以进一 步放大通过位线接收的信号。
在一实例中，由读出电路234输出的像素信息238可为M位数字信号。例如，在一 实例中，M＝8，且像素信息因此为由包含于读出电路234中的模数转换器产生的10位 数字信号。在描述的实例中，根据本发明的教示，从飞行时间像素阵列212读出的像素 信息238代表响应于由飞行时间像素阵列212感测到的反射光脉冲208在像素单元中光 学产生的电荷Q的数量。
在多种实例中，可在由飞行时间像素阵列212感测到多个反射光脉冲208之后读出像素信息238。例如，在一实例中，在由读出电路234每次读出像素信息238之前由飞 行时间像素单元阵列212感测15个反射光脉冲208。通过在每一读出之前感测多个反射 光脉冲208，允许在飞行时间像素单元阵列212的像素单元中积累额外电荷Q，此改进 了像素信息238的信号噪声比。
在多种实例中，从飞行时间像素单元阵列212读出的像素信息238可为基于来自飞行时间像素单元阵列212的两个相反边缘的读数所确定的平均值。例如，在一实例中， 第一行(举例来说，行R1)及最后一行(举例来说，行Rx)被读出。第一行的平均电荷(举 例来说，Q1)被计算并存储，且第二行的平均电荷(举例来说，Q2)被计算并存储。此操 作的目的是为了使飞行时间像素单元阵列212上的顶部到底部偏移平均化。可接着通过 计算Q1及Q2的平均数而确定读出值的平均。
在一实例中，由读出电路234读出的信息也可接着被传送到功能逻辑238。在一实例中，功能逻辑238可确定每一像素单元的飞行时间及距离信息。在一实例中，功能逻 辑238也可存储飞行时间信息及/或甚至操纵飞行时间信息(例如，剪裁、旋转、针对背 景噪声进行调整或类似物)。在一实例中，读出电路234可沿着位线一次读出整行飞行时 间信息，或在另一实例中可使用例如串行读出或同时完全并行读出所有像素单元的多种 其它技术(未被说明)读出飞行时间信息。
在一实例中，控制电路216进一步耦合到飞行时间像素单元阵列212以控制飞行时间像素单元阵列212的操作，并使飞行时间像素单元阵列212的操作与光源202同步， 如以上所讨论的。应注意，在其它实例中，根据本发明的教示，控制电路216可设定像 素编程信号228到固定的中间值且接着改变光源编程信号226，或改变像素编程信号228 及光源编程信号226两者以使从光源202发射的光脉冲204与像素调制信号222中的被 用以控制飞行时间像素阵列212的电荷调制脉冲同步。
图3为根据本发明的教示的说明可编程延迟电路320的实例的框图。应了解，图3的可编程延迟电路320可为图1的第一延迟电路118及/或第二延迟电路120的一实例， 及/或图2的可编程光源延迟线电路218及/或可编程像素延迟线电路220的一实例，且 以下参考的具有相似名称及编号的元件因此类似于以上所描述地耦合且发挥作用。如所 描述的实例中所示，图3的可编程延迟电路320经耦合以接收参考调制信号324，且响 应于编程信号328将参考调制信号324以可变延迟td进行延迟以产生延迟的输出信号 322。
在实例中，编程信号328为n位数字信号，其经耦合以在校准模式期间提供可变延迟td。在一实例中，校准模式可被划分为多个部分，举例来说包含第一部分及第二部分。 例如，在第一部分期间，根据本发明的教示，可对编程信号328进行粗略调整以迅速地 扫描延迟值的大的粗略范围来迅速地使从光源202发射的光脉冲204与像素调制信号 222的脉冲同步。
在一实例中，根据本发明的教示，在校准的第一部分(举例来说，粗部分)期间扫描经过编程信号328的最高有效位(MSB)344。因此，在编程信号328为8位数字信号的实 例中，当扫描经过校准的粗部分时，在粗略范围中递增最高有效字节(即，4个高位)。 例如，在一实例中，根据本发明的教示，当扫描经过校准的粗部分时，编程信号328的 MSB 344被从二进制值0000递增到二进制值1010。在实例中，低位字节(即，4个低位) 在粗扫描期间并未被改变。
在校准的第二部分(举例来说，精细部分)期间，对编程信号328做出精细调整以按较高分辨率严密地扫描延迟值的精细范围以根据本发明的教示更精确地使从光源202发射的光脉冲204与像素调制信号222的脉冲同步。
在一实例中，根据本发明的教示，在校准的精细部分期间扫描经过编程信号328的最低有效位(LSB)346。因此，在编程信号328为8位数字信号的实例中，当扫描经过校 准的精细部分时，在精细范围中递增最低有效字节(即，4个低位)。例如，在一实例中， 根据本发明的教示，当扫描经过校准的精细部分时，编程信号328的LSB 346被从二进 制值0000递增到二进制值1010。在实例中，高位字节(即，4个高位)在精细扫描期间并 未被改变。
根据本发明的教示，通过在校准的粗及精细部分期间在编程信号328的粗略范围值 及精细范围值中的多遍扫描，大范围值可被迅速地扫描，且仍然在校准期间提供从光源202发射的光脉冲204与像素调制信号222的脉冲的精细分辨率同步。
在实例中，可编程的延迟电路320被实施有多个延迟级，包含举例来说如图3中所说明的延迟级1 350A至延迟级z350Z。在一实例中，根据本发明的教示，解码器电路348 经耦合以接收N位编程信号328且响应于编程信号328控制多个级的每一个，包含延迟 级1 350A至延迟级z350Z。在一实例中，根据本发明的教示，延迟级1 350A经耦合以响 应于像素编程信号328对可变延迟td执行更粗略调整，及延迟级z350Z经耦合以响应于 像素编程信号328对可变延迟td执行更精细调整。在一实例中，延迟级1 350A可提供大 约10ns的较粗可变延迟td，且延迟级z350Z可提供大约0.1ns的较精细的可变延迟td。 在一实例中，延迟级1 350A可用级联的翻转电路或类似物实施，及延迟级z350Z可用级 联的逆变器电路或类似物实施。在一实例中，根据本发明的教示，应了解，图3中未展 示的额外中间级延迟电路也可被包含，及可被举例来说用具有电容输出或类似物的级联 逆变器电路实施，其可提供大约1ns的可变延迟td。
为了说明，图4为根据本发明的教示的展示参考调制信号424、在飞行时间图像感测系统的校准的扫描操作期间发射的光脉冲404、具有可变延迟td的像素调制信号422 及在飞行时间图像感测系统的校准期间感测到的电荷438的一实例。应了解，图4的参 考调制信号424可为图2的参考调制信号224及/或图3的参考调制信号324的一实例， 光脉冲404可为图2的光脉冲204的一实例，图4的像素调制信号422可为图2的像素 调制信号222及/或图3的像素调制信号322的一实例，及感测到的电荷438可代表从图 2的飞行时间像素单元阵列212读出的像素信息238，及以下参考的具有相似名称及编 号的元件因此类似于以上所描述地耦合且发挥作用。应了解，代表从飞行时间像素阵列 读出的像素信息238的感测到的电荷438代表响应于由飞行时间像素单元阵列212所感 测到的反射光脉冲208在飞行时间像素单元阵列212中所包含的像素单元中光学产生的 电荷Q的数量。
如所描述的实例中所示，在飞行时间成像系统的校准的扫描操作期间，第一脉冲452 发生在时间t0，此时像素调制信号422具有td1的延迟，此导致感测到的电荷438读数Q1。在第二脉冲454期间，像素调制信号422具有td2的延迟，此导致感测到的电荷438 读数Q2。在第三脉冲456期间，像素调制信号422具有td3的延迟，此导致感测到的电 荷438读数Q3。在第四脉冲458期间，像素调制信号422具有td4的延迟，此导致感测 到的电荷438读数Q4。在第五脉冲460期间，像素调制信号422具有td5的延迟，此导 致感测到的电荷438读数Q5。
如所描绘的实例中所说明的，峰值电荷Q4在第四脉冲458期间被读出。结果，编 程信号228被校准以等于在脉冲458处的像素调制信号422的延迟设定，其在像素调制 信号422中具有td4的延迟。换句话说，根据本发明的教示，可确定的是，与其它脉冲 相比，第四脉冲458期间的像素编程信号228的值为校准光脉冲404与像素调制信号422 最同步的时候的值。因此，根据本发明的教示，在第四脉冲458期间像素编程信号228 的值接着被保存作为飞行时间传感器的校准操作的结果。
图5为根据本发明的教示的说明在实例飞行时间成像系统的校准期间执行的处理的 一实例的流程图562。处理方框564展示光源编程信号及像素编程信号被初始化。在一实例中，光源编程信号被初始化以将光源调制信号的延迟设定在中间值。例如，在光源 编程信号的延迟可被设定为0ns到10ns的范围中的值的实例中，光源编程信号被初始 化为举例来说5ns的值。在一实例中，像素编程信号被初始化以将像素调制信号的延迟 设定在像素编程信号的延迟范围的一端处。例如，在像素编程信号的延迟可被设定为0ns 到10ns的范围中的值的实例中，像素编程信号被初始化为举例来说0ns的值。
处理方框566展示响应于光源编程信号而延迟参考调制信号以产生光源调制信号。 因此，处理方框568展示响应于光源调制信号从光源发射光脉冲。
处理方框570展示也响应于像素编程信号延迟参考调制信号以产生像素调制信号。 处理方框572展示响应于像素调制信号，从校准反射器反射的光脉冲由飞行时间像素单 元阵列感测到。
处理方框574展示响应于感测到的光脉冲，像素调制信号中的延迟接着被改变以在 像素编程信号的粗略分辨率部分的粗略范围中执行粗略分辨率扫描来识别最大粗略分辨率估计。例如，如果像素编程信号为8位数字信号，编程信号的最高有效字节可从二 进制0000改变为二进制1010以在像素编程信号的粗略分辨率部分的粗略范围中扫描。 在一实例中，对于每一延迟设定，飞行时间传感器可被多次(举例来说，15次)取样。接 着，每一延迟值的每一平均电荷读数可被存储且接着做比较以识别导致观察到的电荷的 峰值量的延迟值以寻找最大粗略分辨率估计。在一实例中，可通过读出及存储飞行时间 像素单元阵列的第一及最后一行的电荷值而确定平均电荷读数，以使飞行时间像素单元 阵列上的偏移散布平均化。处理方框576展示像素编程信号的粗略分辨率部分(举例来 说，最高有效4位)接着被设定为等于最大粗略分辨率估计，最大粗略分辨率估计对应于 在粗校准扫描期间在处理方框574中由飞行时间像素单元阵列感测到的最大电荷。
处理方框578展示响应于感测到的光脉冲，像素调制信号中的延迟接着被改变以在 像素编程信号的精细分辨率部分的精细范围中执行精细分辨率扫描以识别最大精细分辨率估计。例如，以作为8位数字信号的实例像素编程信号继续，编程信号的最低有效 字节可从二进制0000改变为二进制1010以在像素编程信号的精细分辨率部分的精细范 围中扫描。在一实例中，对于每一延迟设定，飞行时间传感器可被多次(举例来说，15 次)取样。接着，每一延迟值的每一平均电荷读数可被比较来找到最大精细分辨率估计。 在实例中，也可通过读出及存储飞行时间像素单元阵列的第一及最后一行的电荷值而确 定平均电荷读数，以使飞行时间像素单元阵列上的偏移散布平均化。处理方框580展示 像素编程信号的精细分辨率部分(举例来说，最低有效4位)接着被设定为等于最大精细 分辨率估计，其对应于在精细校准扫描期间在处理方框578中由飞行时间像素单元阵列 感测到的最高电荷。
因此，根据本发明的教示，像素编程信号的粗及精细分辨率部分被校准为在粗及精 细校准扫描期间能观察到最大电荷的值。根据本发明的教示，如今随着像素编程信号与光源调制信号同步，飞行时间成像系统如今可享有改进的效率及所感测物体的高深度分辨率。
以上对本发明的所说明实施例的描述(包含说明书摘要中所描述内容)不希望为详尽 的或将本发明限制到揭示的精确形式。虽然本文为了说明性目的描述本发明的特定实施 例及实例，但相关领域的技术人员应认识到，在本发明的范围之内的多种修改是可能的。
鉴于以上详细的描述，可对本发明做出这些修改。所附权利要求书中所使用的术语 不应被解释为将本发明限制到说明书中揭示的特定实施例。实情是，本发明的范围将完全由所附的权利要求书确定，权利要求应根据权利要求解释的公认原则来解释。

Claims (20)

1.一种飞行时间成像系统，其包括：
光源，其经耦合以响应于光源调制信号的相应脉冲发射光脉冲到物体，其中所述光源调制信号是响应于参考调制信号而产生；
飞行时间像素单元阵列，其包含多个像素单元，其中所述多个像素单元的每一者经耦合以响应于像素调制信号的相应脉冲感测从所述物体反射回的所反射光脉冲；
可编程的像素延迟线电路，其经耦合以响应于所述参考调制信号产生所述像素调制信号，其中所述像素调制信号经耦合以具有响应于像素编程信号而编程的可变像素延迟；以及
控制电路，其经耦合以接收来自所述飞行时间像素阵列所代表的由所述飞行时间像素阵列感测到的所述反射光脉冲的像素信息，其中所述控制电路经耦合以在校准模式期间响应于从所述飞行时间像素阵列接收的像素信息改变所述像素编程信号以使从所述光源发射的所述光脉冲与所述像素调制信号的所述脉冲同步，其中所述像素编程信号为n位信号，其中所述n位信号的最高有效位在所述校准模式的第一部分的期间被改变，且其中所述n位信号的最低有效位在所述校准模式的第二部分的期间被改变。
2.根据权利要求1所述的飞行时间成像系统，其进一步包括可编程的光源延迟线电路，所述可编程的光源延迟线电路经耦合以响应于所述参考调制信号产生所述光源调制信号，其中所述光源调制信号经耦合以具有响应于光源编程信号而编程的可变光源延迟。
3.根据权利要求2所述的飞行时间成像系统，其中所述控制电路经耦合以设定所述光源编程信号。
4.根据权利要求1所述的飞行时间成像系统，其中所述n位信号的所述最高有效位的改变经耦合以对所述像素编程信号执行粗略调整，且其中所述n位信号的所述最低有效位的改变经耦合以对所述像素编程信号执行精细调整。
5.根据权利要求1所述的飞行时间成像系统，其中所述可编程的像素延迟线电路包含多个级，其中所述多个级的第一级经耦合以响应于所述像素编程信号对所述可变像素延迟执行粗略调整，且其中所述多个级的第二级经耦合以响应于所述像素编程信号对所述可变像素延迟执行精细调整。
6.根据权利要求1所述的飞行时间成像系统，其中从所述飞行时间像素阵列读出的所述像素信息代表响应于由所述飞行时间像素阵列感测到的所述反射的光脉冲而光学产生的电荷量。
7.根据权利要求1所述的飞行时间成像系统，其进一步包括读出电路，所述读出电路耦合到所述飞行时间像素单元阵列以从所述飞行时间像素单元阵列的所述像素单元读出像素信息。
8.根据权利要求1所述的飞行时间成像系统，其中所述物体为校准反射器，所述校准反射器被定位于所述光源及传感器的前部，以在所述校准模式期间将从所述光源发射的所述光脉冲反射回所述飞行时间像素单元阵列。
9.根据权利要求1所述的飞行时间成像系统，其进一步包括光源驱动器电路，所述光源驱动器电路经耦合以响应于所述光源调制信号的脉冲驱动所述光源。
10.根据权利要求1所述的飞行时间成像系统，其进一步包括像素控制电路，所述像素控制电路经耦合以产生控制信号，所述控制信号经耦合以响应于所述像素调制信号的脉冲控制所述飞行时间像素单元阵列以感测所述反射的光脉冲。
11.一种校准飞行时间成像系统的方法，其包括：
初始化具有N位的像素编程信号到初始值，其中所述像素编程信号包含粗略分辨率部分及精细分辨率部分；
响应于参考调制信号从光源发射光脉冲到物体；
响应于所述像素编程信号延迟所述参考调制信号以产生像素调制信号；
响应于所述像素调制信号用飞行时间像素单元阵列感测从所述物体反射的所述光脉冲；
响应于用所述飞行时间像素单元阵列感测到的所述光脉冲，在所述像素编程信号的所述粗略分辨率部分的粗略范围中执行粗略分辨率扫描以识别所述像素编程信号的所述粗略分辨率部分的最大粗略分辨率估计；
设定所述像素编程信号的所述粗略分辨率部分等于所述最大粗略分辨率估计；
响应于用所述飞行时间像素单元阵列感测到的所述光脉冲，在所述像素编程信号的所述精细分辨率部分的精细范围中执行精细分辨率扫描以识别所述像素编程信号的所述精细分辨率部分的最大精细分辨率估计；以及
设定所述像素编程信号的所述精细分辨率部分等于所述最大精细分辨率估计。
12.根据权利要求11所述的方法，其进一步包括响应于光源编程信号延迟所述参考调制信号以产生光源调制信号，其中响应于所述光源调制信号，所述光脉冲被发射到物体。
13.根据权利要求12所述的方法，其进一步包括初始化所述光源编程信号到初始值，其中所述光源编程信号具有N位且包含粗略分辨率部分及精细分辨率部分。
14.根据权利要求11所述的方法，其中响应于所述像素调制信号用所述飞行时间像素单元阵列感测从所述物体反射的所述光脉冲包括：
从所述飞行时间像素单元阵列的第一边缘及从所述飞行时间像素单元阵列的第二边缘读出分别代表在所述飞行时间像素单元阵列的所述第一边缘及所述第二边缘处感测到的所述反射光脉冲的像素信息；以及
平均化从所述飞行时间像素单元阵列的所述第一及第二边缘读出的所述像素信息。
15.根据权利要求14所述的方法，其中所述飞行时间像素单元阵列被布置成多个行及列的像素单元，其中所述飞行时间像素单元阵列的所述第一边缘及所述第二边缘包含所述飞行时间像素单元阵列的第一行及最后一行。
16.根据权利要求14所述的方法，其中所述用所述飞行时间像素单元阵列感测从所述物体反射的所述光脉冲包括在每次从所述飞行时间像素单元阵列的所述第一边缘及所述第二边缘读出像素信息之前，用所述飞行时间像素单元阵列感测从所述物体反射的多个光脉冲。
17.根据权利要求11所述的方法，其中所述编程信号的所述粗略分辨率部分包含所述像素编程信号的最高有效位，且其中所述编程信号的所述精细分辨率部分包含所述像素编程信号的最低有效位。
18.根据权利要求17所述的方法，其中所述在所述像素编程信号的所述粗略分辨率部分的所述粗略范围中执行所述粗略分辨率扫描包括使所述最高有效位从所述粗略范围的最小值增加到所述粗略范围的最大值。
19.根据权利要求17所述的方法，其中所述在所述像素编程信号的所述精细分辨率部分的所述精细范围中执行所述精细分辨率扫描包括使所述最低有效位从所述精细范围的最小值增加到所述精细范围的最大值。
20.根据权利要求11所述的方法，其进一步包括在所述光源的前部定位校准反射器以在所述飞行时间成像系统的校准期间从所述光源反射所述光脉冲到所述飞行时间像素单元阵列。
CN201510319589.6A 2014-08-29 2015-06-11 用于飞行时间成像系统的校准电路及方法 Active CN105763788B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/473,803 2014-08-29
US14/473,803 US9720076B2 (en) 2014-08-29 2014-08-29 Calibration circuitry and method for a time of flight imaging system

Publications (2)

Publication Number Publication Date
CN105763788A CN105763788A (zh) 2016-07-13
CN105763788B true CN105763788B (zh) 2018-02-16

Family

ID=55402224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510319589.6A Active CN105763788B (zh) 2014-08-29 2015-06-11 用于飞行时间成像系统的校准电路及方法

Country Status (4)

Country Link
US (1) US9720076B2 (zh)
CN (1) CN105763788B (zh)
HK (1) HK1222275A1 (zh)
TW (1) TWI544232B (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9880267B2 (en) * 2015-09-04 2018-01-30 Microvision, Inc. Hybrid data acquisition in scanned beam display
US10557925B2 (en) * 2016-08-26 2020-02-11 Samsung Electronics Co., Ltd. Time-of-flight (TOF) image sensor using amplitude modulation for range measurement
US10762651B2 (en) * 2016-09-30 2020-09-01 Magic Leap, Inc. Real time calibration for time-of-flight depth measurement
US10048358B2 (en) 2016-12-30 2018-08-14 Panosense Inc. Laser power calibration and correction
US10359507B2 (en) * 2016-12-30 2019-07-23 Panosense Inc. Lidar sensor assembly calibration based on reference surface
US20180189977A1 (en) * 2016-12-30 2018-07-05 Analog Devices Global Light detector calibrating a time-of-flight optical system
DE102017105142B4 (de) 2017-03-10 2021-09-16 Infineon Technologies Ag Laufzeit-Bilderzeugungsvorrichtungen und ein Verfahren zum Anpassen einer Referenzfrequenz
CN110809704B (zh) * 2017-05-08 2022-11-01 威力登激光雷达美国有限公司 Lidar数据获取与控制
US10116925B1 (en) * 2017-05-16 2018-10-30 Samsung Electronics Co., Ltd. Time-resolving sensor using shared PPD + SPAD pixel and spatial-temporal correlation for range measurement
JP6888216B2 (ja) * 2017-08-31 2021-06-16 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 物体までの距離を測定するための装置および方法
EP3474038A1 (en) 2017-10-23 2019-04-24 ams International AG Image sensor for determining a three-dimensional image and method for determining a three-dimensional image
US10681295B2 (en) * 2017-10-30 2020-06-09 Omnivision Technologies, Inc. Time of flight camera with photon correlation successive approximation
CN110192120A (zh) * 2017-12-22 2019-08-30 索尼半导体解决方案公司 信号发生装置
WO2019123738A1 (ja) * 2017-12-22 2019-06-27 ソニーセミコンダクタソリューションズ株式会社 センサチップ、電子機器、及び装置
US11212512B2 (en) * 2017-12-28 2021-12-28 Nlight, Inc. System and method of imaging using multiple illumination pulses
EP3508874A1 (de) * 2018-01-03 2019-07-10 Espros Photonics AG Kalibriervorrichtung für eine tof-kameravorrichtung
EP3528005A1 (de) * 2018-02-20 2019-08-21 Espros Photonics AG Tof-kameravorrichtung zur fehlererkennung
US11754712B2 (en) * 2018-07-16 2023-09-12 Cilag Gmbh International Combination emitter and camera assembly
CN110168398B (zh) * 2018-07-18 2023-05-12 深圳市汇顶科技股份有限公司 飞时测距系统及校正方法
CN109143252B (zh) * 2018-08-08 2022-08-30 合肥泰禾智能科技集团股份有限公司 Tof深度相机距离校准的方法及装置
DE102018119435A1 (de) * 2018-08-09 2020-02-13 Huf Hülsbeck & Fürst Gmbh & Co. Kg Verfahren zur Kalibrierung einer Time-Of-Flight-Kamera
US20200064478A1 (en) * 2018-08-22 2020-02-27 GM Global Technology Operations LLC Method for depth imaging based on optical quadrant detection scheme
CN109283508A (zh) * 2018-11-21 2019-01-29 深圳奥比中光科技有限公司 飞行时间计算方法
CN113167902A (zh) * 2018-12-04 2021-07-23 ams国际有限公司 用于三维成像的图案化照明
DE102019134142A1 (de) * 2018-12-12 2020-06-18 Analog Devices, Inc. Eingebaute kalibrierung von laufzeittiefenbildgebungssystemen
US11423572B2 (en) * 2018-12-12 2022-08-23 Analog Devices, Inc. Built-in calibration of time-of-flight depth imaging systems
CN110609293B (zh) * 2019-09-19 2022-05-27 深圳奥锐达科技有限公司 一种基于飞行时间的距离探测系统和方法
KR20210072458A (ko) * 2019-12-09 2021-06-17 에스케이하이닉스 주식회사 비행시간거리측정 방식의 센싱 시스템 및 이미지 센서
KR20210072423A (ko) * 2019-12-09 2021-06-17 에스케이하이닉스 주식회사 비행시간거리측정 방식의 센싱 시스템 및 이미지 센서
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
US11648060B2 (en) 2019-12-30 2023-05-16 Cilag Gmbh International Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11219501B2 (en) 2019-12-30 2022-01-11 Cilag Gmbh International Visualization systems using structured light
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US12002571B2 (en) 2019-12-30 2024-06-04 Cilag Gmbh International Dynamic surgical visualization systems

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426364A (zh) * 2004-07-06 2012-04-25 拓普康定位系统公司 在3d成像系统中测定距离

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7433029B1 (en) 2005-09-22 2008-10-07 Canesta, Inc. Method and system to calibrate a camera system using phase demodulation sensing
US7471376B2 (en) 2006-07-06 2008-12-30 Canesta, Inc. Method and system for fast calibration of three-dimensional (3D) sensors
US7821619B2 (en) * 2008-03-19 2010-10-26 Raytheon Company Rapid scan LADAR 3D imaging with compact digital beam formation
KR101668869B1 (ko) 2009-05-29 2016-10-28 삼성전자주식회사 거리 센서, 3차원 이미지 센서 및 그 거리 산출 방법
TW201115183A (en) 2009-10-20 2011-05-01 Ind Tech Res Inst Stereovision system and calculation method for the distance between object and diffractive optical element
TWI427273B (zh) 2010-07-29 2014-02-21 Pixart Imaging Inc 可提高訊雜比之測距裝置及其方法
US8642938B2 (en) * 2012-01-13 2014-02-04 Omnivision Technologies, Inc. Shared time of flight pixel

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426364A (zh) * 2004-07-06 2012-04-25 拓普康定位系统公司 在3d成像系统中测定距离

Also Published As

Publication number Publication date
TWI544232B (zh) 2016-08-01
CN105763788A (zh) 2016-07-13
US20160061941A1 (en) 2016-03-03
HK1222275A1 (zh) 2017-06-23
US9720076B2 (en) 2017-08-01
TW201612587A (en) 2016-04-01

Similar Documents

Publication Publication Date Title
CN105763788B (zh) 用于飞行时间成像系统的校准电路及方法
US11328446B2 (en) Combining light-field data with active depth data for depth map generation
CN105319559B (zh) 飞行时间感测单元及飞行时间感测系统
US11448757B2 (en) Distance measuring device
US10681295B2 (en) Time of flight camera with photon correlation successive approximation
CN104067607B (zh) 一种使用像素确定飞行时间的方法、设备及飞行时间感测系统
US5682229A (en) Laser range camera
US7135672B2 (en) Flash ladar system
US7688374B2 (en) Single axis CCD time gated ladar sensor
CN109791207A (zh) 用于确定到对象的距离的系统和方法
CN110308451A (zh) 适用于远程飞行时间应用的双模式堆叠光电倍增管
CN111103057B (zh) 具有使用基于电容器的比较器的阈值检测的光子感测
US10877238B2 (en) Bokeh control utilizing time-of-flight sensor to estimate distances to an object
Henriksson et al. Photon-counting panoramic three-dimensional imaging using a Geiger-mode avalanche photodiode array
Wu et al. Intensity-guided depth image estimation in long-range lidar
Bastuscheck Techniques for real-time generation of range images
US11627301B2 (en) Image sensor and camera module using same
Andersen et al. Submillimeter 3-D laser radar for space shuttle tile inspection
JP2019197055A (ja) 構造化された光イメージングシステム及びその方法
Jin et al. Scannerless non-line-of-sight three dimensional imaging with a 32x32 SPAD array
Zhao et al. A novel imaging method for two-tap pulsed-based indirect time-of-flight sensor
EP4115196A1 (en) Eye-safe scanning lidar with virtual protective housing
Baranov et al. Multi-Pulse Active CCD Television System Model for 3D Imaging
WO2022016448A1 (en) Indirect tof sensor, stacked sensor chip, and method for measuring distance to object using the same
US11181807B1 (en) Ranging of objects in a scene using difference imaging and fast shutter control

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: American California

Applicant after: OmniVision Technologies, Inc.

Address before: American California

Applicant before: Omnivision Tech Inc.

COR Change of bibliographic data
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1222275

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1222275

Country of ref document: HK