CN113030999A - 飞行时间感测系统和其中使用的图像传感器 - Google Patents

飞行时间感测系统和其中使用的图像传感器 Download PDF

Info

Publication number
CN113030999A
CN113030999A CN202010601952.4A CN202010601952A CN113030999A CN 113030999 A CN113030999 A CN 113030999A CN 202010601952 A CN202010601952 A CN 202010601952A CN 113030999 A CN113030999 A CN 113030999A
Authority
CN
China
Prior art keywords
pixel
signal
amount
sensing system
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010601952.4A
Other languages
English (en)
Other versions
CN113030999B (zh
Inventor
朴儒珍
徐成旭
宋贞恩
全镇旭
权五俊
金翰相
徐康凤
申旼锡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Hynix Inc
Original Assignee
SK Hynix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Hynix Inc filed Critical SK Hynix Inc
Publication of CN113030999A publication Critical patent/CN113030999A/zh
Application granted granted Critical
Publication of CN113030999B publication Critical patent/CN113030999B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/34—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/495—Counter-measures or counter-counter-measures using electronic or electro-optical means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

飞行时间感测系统和其中使用的图像传感器。一种在飞行时间TOF感测系统中使用的图像传感器包括：像素阵列，其包括多个像素，每个像素包括至少一个光电二极管，并且每个像素生成对应于入射光的电荷量；比较电路，其被配置成将分别基于从每个像素输出的电荷量而独立改变的电压电平与参考电压进行比较，以输出比较结果；以及校准电路，其被配置成基于比较结果而等量地调节电压电平。

Description

飞行时间感测系统和其中使用的图像传感器
技术领域
本公开的实施方式涉及一种使用飞行时间(TOF)系统的感测设备，更具体来说，涉及一种用于提高感测设备的分辨率或精度的装置。
背景技术
飞行时间(TOF)系统通过测量光或信号的飞行时间来计算从原点(origin)到物体的距离。通常，飞行时间是光或信号从源传播到物体的时间和/或光或信号从物体传播回光源的时间。原点可以是光源或信号源，例如使用TOF系统的TOF摄像机。TOF摄像机基于该距离输出包括物体的深度信息的图像。传统的摄像机能够输出表现物体的颜色和形状的二维(2D)图像，但是TOF摄像机可以输出不仅表现物体的2D图像而且还表示物体的深度的三维(3D)图像。
发明内容
本公开的一个实施方式可以提供一种装置，其用于减少环境光的不利影响以获得深度信息。该装置可以被用于使用飞行时间(TOF)系统的感测设备中。环境光可以包括在室外或穿过窗户进入的例如自然光的环境中的可用光或场景中已经存在的光，或者诸如室内灯光的人造光。该装置能够在获得深度信息的同时抑制由于环境光导致的图像传感器中的像素的饱和。
此外，本公开的一个实施方式可以提供一种图像传感器，其能够在能使用TOF系统的环境中克服环境光的约束。图像传感器可以包括用于改善使用TOF系统的移动设备、监测设备、自动化设备或计算设备的利用的装置。该装置可以使得TOF系统能够很好地工作，而不管诸如室内、室外、夜间或白天的特定环境如何。
此外，本公开的一个实施方式可以提供一种能够输出3D图像的成像设备。一种装置能够减少或避免配备有TOF感测系统的成像设备中的周围环境的影响，该TOF感测系统能够获得关于场景中的物体的深度信息，并且输出包括深度信息的三维图像。
在一个实施方式中，一种在TOF感测系统中使用的图像传感器可以包括：像素阵列，其包括多个像素，每个像素包括至少一个光电二极管，并且每个像素生成对应于入射光的电荷量；比较电路，其被配置成将分别基于从每个像素输出的电荷量而独立改变的电压电平与参考电压进行比较，以输出比较结果；以及校准电路，其被配置成基于比较结果而等量地调节电压电平。
作为示例而非限制，校准电路被配置成当以预定量调节电压电平时保持电压电平之间的差。
校准电路还可以被配置成向像素阵列提供预设量的电流。
像素可以包括：复位栅极，其联接到至少一个光电二极管，并且被配置成响应于复位信号来复位电荷量；传输栅极，其被配置成响应于调制信号而输出基于电荷量的像素电压；存取栅极，其被配置成响应于从传输栅极传输的像素电压而导通；以及选择栅极，其被配置成响应于选择信号而选择性地输出从存取栅极输出的电压。
校准电路还可以被配置成：检查传输栅极和至少一个光电二极管之间的基于电荷量而变化的电势；并且调节传输栅极和存取栅极之间的像素电压。
校准电路可以包括电流源，其被配置成向像素阵列提供电流以用于调节电压电平。
电流源可以包括：开关晶体管，其联接到每个像素并且响应于比较结果而导通；以及可变电阻器，其联接到电源并且被配置成确定电流的量。
像素阵列可以具有多个像素沿着多个行和多个列排列的结构。校准电路可以逐行控制像素。
图像传感器还可以包括电流提供电路，其被配置成响应于电流控制信号而确定由校准电路提供的电流的量。电流提供电路和校准电路作为电流镜工作。
校准电路可以被配置成以预定量增加电压电平。预定量可以与电流的量成正比，并且与每个像素的驱动频率成反比。
在另一实施方式中，一种TOF感测系统可以包括：发射机，其被配置成输出具有预设相位的调制信号；接收机，其包括被配置成接收从目标被反射的反射信号的图像传感器；以及信号处理电路，其被配置成基于调制信号和反射信号之间的相位关系来确定距目标的距离。图像传感器可以包括：像素阵列，其包括多个像素，每个像素包括至少一个光电二极管，并且每个像素生成响应于反射信号的电荷量；比较电路，其被配置成将分别基于从每个像素输出的电荷量而独立改变的电压电平与参考电压进行比较，以输出比较结果；以及校准电路，其被配置成基于比较结果而等量地调节电压电平。
作为示例而非限制，校准电路被配置成当以预定量调节电压电平时保持电压电平之间的差。
校准电路还可以被配置成向像素阵列提供预设量的电流。
像素可以包括：复位栅极，其联接到至少一个光电二极管，并且被配置成响应于复位信号来复位电荷量；传输栅极，其被配置成响应于调制信号而输出基于电荷量的像素电压；存取栅极，其被配置成响应于从传输栅极传输的像素电压而导通；以及选择栅极，其被配置成响应于选择信号而选择性地输出从存取栅极输出的电压。
校准电路还可以被配置成：检查传输栅极和至少一个光电二极管之间的基于电荷量而变化的电势；并且调节传输栅极和存取栅极之间的像素电压。
校准电路可以包括电流源，其被配置成向像素阵列提供电流以用于调节电压电平。
电流源可以包括：开关晶体管，其联接到每个像素并且响应于比较结果而导通；以及可变电阻器，其联接到电源并且被配置成确定电流的量。
多个像素沿着多个行和多个列排列。校准电路可以逐行控制像素。
TOF感测系统还可以包括电流提供电路，其被配置成响应于电流控制信号而确定由校准电路提供的电流的量。电流提供电路和校准电路作为电流镜工作。
校准电路可以以预定量增加电压电平。预定量可以与电流的量成正比，并且与每个像素的驱动频率成反比。
在另一实施方式中，一种感测系统的操作方法包括以下步骤：根据反射信号生成多个电压；当电平中的至少一个低于阈值时，针对所有电平以设定量升高电压电平，以达到阈值或更高的电平；以及基于原始信号和由升高的电平表示的反射信号之间的相位关系确定系统和目标之间的距离。原始信号从系统传播，并且由目标反射而成为反射信号。
在另一实施方式中，一种图像传感器的噪声消除方法包括以下步骤：根据入射信号生成多个电压；当电平中的至少一个低于阈值时，针对所有电平以设定量升高电压电平，以达到阈值或更高的电平；以及通过升高的电平感测与入射信号相关的图像。
附图说明
本文的描述参照了附图，其中在所有附图中，相同的附图标记表示相同的部件。
图1示出了根据本公开的一个实施方式的飞行时间(TOF)感测系统中的操作。
图2A和图2B示出了根据本公开的一个实施方式的由TOF感测系统测量在调制信号和反射信号之间的时间差和相位差的示例。
图3示出了根据本公开的一个实施方式的TOF感测系统的第一示例。
图4示出了根据本公开的一个实施方式的TOF感测系统的第二示例。
图5示出了根据本公开的一个实施方式的配备有TOF感测系统的图像传感器中所包括的像素的示例。
图6示出了根据本公开的一个实施方式的TOF感测系统中所包括的图像传感器的操作。
图7描述了在根据本公开的一个实施方式的TOF感测系统中估计距离的方法和确定调制信号的幅度的方法。
图8示出了根据本公开的一个实施方式的TOF感测系统中所包括的图像传感器的像素结构的电路图。
图9示出了联接到参照图8描述的图像传感器的像素的校准电路。
图10示出了图8和图9所示的校准电路的操作。
图11示出了根据本公开的一个实施方式的TOF感测系统中所包括的图像传感器的电流源。
本公开包括对“一个实施方式”或“实施方式”的引用。短语“在一个实施方式中”或“在实施方式中”的出现不一定指同一实施方式。实施方式的特定特征、结构或特性可以以与本公开一致的任何合适的方式与本公开中的任何其他实施方式结合。
具体实施方式
下面参照附图描述本公开的各种实施方式。然而，可不同地配置或布置本公开的元件和特征以形成其它实施方式，这些实施方式可以是所公开的实施方式中的任意实施方式的变型。
在本公开中，术语“包括”、“包含”、“具有”和“涵盖”是开放式的。如在所附权利要求中使用的那样，这些术语指明了所述及的元件的存在，并且不排除一个或更多个其他元件的存在或添加。权利要求中的这些术语不排除权利要求包括附加特征(例如，接口单元、电路等)。
在本公开中，各种单元、电路或其他组件可以以“被配置成”执行一个或更多个任务的方式被描述或要求保护。在这样的上下文中，“被配置成”用于通过指示单元/电路/组件包括在操作期间执行这些任务的结构(例如，电路)来表示结构。由此，即使当指定的单元/电路/组件当前未工作(例如，未导通)时，也可以说单元/电路/组件被配置成执行任务。与“被配置成”语句一起使用的单元/电路/组件包括硬件—例如，电路、存储可执行以实现操作的程序指令的存储器等。此外，“被配置成”可以包括由软件和/或固件(例如，FPGA或执行软件的通用处理器)操纵从而以能够执行所讨论的任务的方式操作的通用结构(例如，通用电路)。“被配置成”还可以包括使制造工艺(例如，半导体生产设施)适于生产适于实现或执行一个或更多个任务的设备(例如，集成电路)。
如在本文使用的那样，这些术语“第一”、“第二”、“第三”等被用作它们后面的名词的标签，并且不暗示任何类型的排序(例如，空间、时间、逻辑等)。术语“第一”和“第二”并不必然表示第一值必须被写在在第二值之前。此外，尽管术语“第一”、“第二”、“第三”等可能在本文用来标识各种元件，但这些元件不受这些术语的限制。这些术语用于区分一个元件与另一元件(否则它们将具有相同或相似名称)。例如，可以区分第一电路与第二电路。
此外，术语“基于”用于描述影响确定(determination)的一个或更多个因素。该术语不排除可能影响确定的其他因素。也就是说，确定可以仅仅基于这些因素，或者至少部分地基于这些因素。考虑短语“基于B确定A”。虽然在这种情况下，B是影响A的确定的因素，但是这样的短语并不排除A的确定也基于C。在其他示例中，可以仅基于B来确定A。
如在本公开中所使用的那样，术语“电路”是指以下各项的任何一个和全部：(a)仅硬件的电路实现(例如，仅在模拟和/或数字电路中的实现)；(b)电路和软件(和/或固件)的组合，例如(在适用时)：(i)处理器的组合，或(ii)处理器/软件的部分(包括数字信号处理器、软件和存储器，它们一起工作以使得诸如移动电话或服务器的装置执行各种功能)；以及(c)需要软件或固件来操作的电路，例如微处理器或微处理器的一部分，即使软件或固件并非在物理上存在。“电路”的定义适用于本申请中(包括任何权利要求中)该术语的所有用例。作为另一示例，如在本申请中所使用的那样，术语“电路”还涵盖仅一个处理器(或更多个处理器)或处理器的一部分及其附带软件和/或固件的实现。术语“电路”还涵盖(如果适用于特定的要求保护的元素)例如用于存储设备的集成电路。
现在将在下文中参照附图描述本公开的具体实施方式，其中相同的附图标记表示相同的元件。
图1示出了根据本公开的一个实施方式的飞行时间(TOF)感测系统中的操作。
参照图1，TOF感测系统100能够测量距目标20的距离。TOF感测系统100可以包括发射机110和接收机120，发射机110被配置成输出用于测量距目标20的距离的调制信号(modulated signal)，接收机120被配置成接收从目标20反射的反射信号。调制信号可以在目标20处被发射(shot)，并且可以在从目标20被反射之后被视作反射信号。调制信号和反射信号可以具有相同的特性，例如波长。
TOF感测系统100被认为是用于各种工业领域和消费者市场中的自动化发展的非常重要的设备之一。消费者使用的设备(例如，移动电话、平板电脑和车辆等)可以包括TOF感测系统100。TOF感测系统100能够用于识别周围环境和/或设备在周围环境中的位置。例如，包括TOF感测系统100的摄像机可以确定被包括在三维(3D)环境(例如，场景或图像帧)中的目标20的颜色、形状和深度(距离)，以向使用设备的消费者提供3D视觉技术。
从TOF感测系统100中的发射机110输出的调制信号可以具有预设模式(pattern)。发射机110可以向周围环境发射调制信号。调制信号可以从周围环境中的各种物体被反射。当通过接收机120接收到反射信号时，TOF感测系统100可以基于从发射机110输出的调制信号和由接收机120接收到的反射信号之间的相关关系(correlation relationship)来确定距离。
在识别调制信号和反射信号之间的相关关系并且基于该相关关系确定距离的过程中，环境光(ambient light)可能干扰TOF感测系统100。具体来说，为了在明亮的日光环境中获得距离(例如，深度信息)或者需要该距离的高分辨率，可能需要执行附加处理以去除由环境光引起的干扰(例如，噪声)。
图2A和图2B示出了根据本公开的一个实施方式的TOF感测系统100中的测量值的示例。具体来说，图2A示出了测量调制信号和反射信号之间的时间差或时间延迟。图2B示出了测量调制信号和反射信号之间的相位差或相位延迟。
参照图2A，根据一个实施方式的TOF感测系统可以测量调制信号和反射信号之间的时间差或时间延迟。调制信号从参照图1描述的发射机110输出并在目标20上被反射。接收机120可以直接测量在调制信号被发射之后当反射信号被接收时的往返时间。调制信号可以具有预设脉冲的形式。调制信号的照射强度(illuminance intensity)可以比诸如环境光的其它背景光的照射强度大得多。用于测量时间差或时间延迟的方法可以容易地应用于被配备在自动驾驶车辆内的光检测和测距(LiDAR)装置，这是因为该方法可以在室外使用并且容易测量长的距目标或物体的距离。然而，因为在被配置成测量时间差或时间延迟的TOF感测系统100中需要时间-数字转换器(TDC)，所以TOF感测系统100通常可能较昂贵，并且因此可能无法在大量的像素中进行时间测量，使得包括由TOF感测系统100获得的深度信息或距离的图像的分辨率通常较低。用于测量时间差或时间延迟的TOF感测系统100已经被使用在主要用于卫星、空间探测工具和国防设备等特定用途的昂贵设备中。
参照图2B，TOF感测系统100测量调制信号和反射信号之间的相位差或相位延迟。可以通过用于测量相位差或相位延迟的信号处理方法来估计TOF感测系统100与目标/物体之间的距离。对于测量数米内的相对较短的距离而言，该方法比图2A所示的方法更加容易，并且可以主要用于室内。因为可以通过在图像传感器内部的信号处理方法获得3D图像，所以可以减小TOF感测系统100的尺寸或复杂度。TOF感测系统100可能需要少量的计算，以使得TOF感测系统100具有高帧速率(frame rate)。此外，用于测量相位差或相位延迟的TOF感测系统100可以在小空间内以低成本实现。然而，当测量相位差或相位延迟时，可测量的距离可能受到限制。例如，因为将相位差用于测量距离，所以对于具有对应于超过一个周期的距离的物体的测量可能不准确。当周期对应于10m并且相位差为180°(半个周期)时，半个周期可以对应于5m或15m。此外，当相位差为0°时，无相位差可以对应于10m或20m。这可以被称为多义性(ambiguity)问题。
图3示出了根据本公开的一个实施方式的TOF感测系统100的第一示例。具体来说，图3示出了使用连续波调制方案的TOF感测系统100A的示例。当可以通过调制信号和反射信号直接测量飞行时间时，可以基于光速(例如，光常数c)计算TOF感测系统和目标之间的距离。然而，难以直接测量调制信号的确切飞行时间，并且在接收调制信号和分析调制信号的过程中可能出现诸如电路延迟的误差。在本文中，使用连续波调制方案的TOF感测系统100A可以测量调制信号和反射信号之间的相位差。TOF感测系统100A能够识别相位差。基于调制信号和反射信号之间的相关关系(例如，相位差)，当调制频率和调制信号的速度已知时，TOF感测系统100A能够计算距离。
参照图3，TOF感测系统100A可以包括发射机110、接收机120、信号处理器130、调制器140、解调器150、信号转换器160、第一透镜单元170和第二透镜单元180。
信号处理器130可以从另一设备或TOF感测系统100A的用户接口接收对距离测量或深度信息的请求。响应于该请求，信号处理器130可以输出关于估计距离或深度信息的数据。信号处理器130可以基于该请求启用调制器140。例如，信号处理器130可以向调制器140输出调制控制信号MC以控制调制器140的操作。
响应于信号处理器130的输出，调制器140可以生成调制信号。调制信号可以通过发射机110被输出、发射或辐射。根据一个实施方式，调制器140可以包括调制控制器142和/或发射机驱动器144。调制控制器142可以输出调制周期信号(modulation period signal)FC，使得发射机110输出能够与参照图1描述的环境光区分开的调制信号。根据一个实施方式，发射机110可以包括发光器件(例如，发光二极管)，并且从调制器140输出的发射控制信号DC可以用作用于驱动发光器件的信号。根据另一实施方式，发射机驱动器144可以被包括在发射机110中。调制器140可以控制发射机110，使得由发射机110生成的调制信号可以具有预设频率或预设幅度。调制控制器142可以向发射机110输出具有特定频率或特定相位的调制周期信号FC。
调制器140中所包括的调制控制器142可以在接收到调制控制信号MC之后生成调制周期信号FC以用于生成调制信号。调制信号可以具有各种信号类型中的一种。例如，发射机驱动器144可以使用调制周期信号FC来控制从发射机110中所包括的光源或光调制元件输出的脉冲。根据一个实施方式，调制控制器142可以通过发射机110中所包括的光源或光调制元件输出诸如三角波(例如，斜坡波形)、正弦波或方波等的调制信号。
另一方面，由于发射机110中所包括的发光二极管(LED)或激光二极管(LD)的驱动误差和非线性，发射机110可能不会输出具有诸如脉冲、三角波或正弦波等的理想波形的调制信号。例如，发光二极管(LED)可以在阈值电流以上工作。即使在向发光二极管(LED)提供电流的驱动时段内，也可能会发生输出光功率关于输入电流的非线性和饱和。此外，发光二极管(LED)在驱动时段中可能不具有光调制的线性增益。具体来说，在向发射机110提供高电压或高电流的情况下，基于诸如发射机驱动器144的驱动电路的配置或设计，发光二极管(LED)的非线性或驱动误差可能变得更糟。该驱动误差可能直接影响距离/深度信息提取的结果，使得由TOF感测系统100A计算的距离可能不准确。因此，在一个实施方式中，调制器140中的调制控制器142可以包括复杂的附加算法和/或驱动电路以补偿驱动误差。
发射机驱动器144可以输出用于驱动发射机110中所包括的光源或光学调制器的发射控制信号DC。响应于发射控制信号DC，发射机110可以输出调制信号。在一个实施方式中，发射机110可以包括激光二极管等，其能够响应于从调制器140输出的发射控制信号DC而输出具有预设波长的信号或光。例如，从发射机110输出的调制信号可以具有这样的频率：其属于红外区域或紫外区域而不属于用于确定三维环境中所包括的物体的颜色或形状等的可见光区域。发射机110可以包括用于生成特定波长(例如，850nm的近红外)的光的发光二极管(LED)或激光二极管(LD)。在图3中，发射机驱动器144被包括在调制器140中。但是，根据另一实施方式，发射机驱动器144可以被包括在包括发光二极管(LED)或激光二极管(LD)的发射机110中。根据另一实施方式，发射机110中所包括的发光二极管(LED)或激光二极管(LD)可以由调制控制器142直接驱动和控制，而不需要发射机驱动器144。
从发射机110输出的调制信号可以通过第一透镜单元170在TOF感测系统100A的外部被发射。第一透镜单元170可以根据TOF感测系统100A的使用目的或操作环境等以各种方式实现。例如，第一透镜单元170可以在特定位置或区域发射调制信号。或者，第一透镜单元170可以将调制信号均匀地分布到图像帧或场景内的预设区域。第一透镜单元170可以包括一个或更多个透镜，其被控制为扩大或缩小调制信号的发射范围(shoot range)。
入射光中所包括的反射信号可以通过第二透镜单元180而被输入到接收机120。根据一个实施方式，第二透镜单元180可以积分(integrate)反射信号，并且将反射信号传输到接收机120。像第一透镜单元170一样，第二透镜单元180可以包括一个或更多个透镜。在图3中未示出，TOF感测系统100A可以包括透镜控制器，其被配置成控制诸如变焦、聚焦和光阑孔(iris opening)(光圈)的机动摄影透镜功能(motorized photographic lensfunctions)。透镜控制器可以控制包括一个或更多个透镜的第二透镜单元180。此外，第二透镜单元180可以包括位于透镜之间的至少一个滤波器，以用于从入射光中去除与反射信号不相关的一些信号或光。例如，虽然入射光可以具有各种波长，但至少一个滤波器可以使具有对应于调制信号的特定波长的反射信号通过。
接收机120可包括像素阵列126。像素阵列126可以包括多个像素，每个像素都能够接收反射信号并且生成像素信息PI(例如，电荷量)或对应于反射信号的信号。多个像素可以以阵列的形式排列。设置在接收机120中的像素阵列126可以由解调器150控制以向信号转换器160输出多个像素信息PI(例如，电荷量)或多个信号。
从调制单元140中的调制控制器142输出的调制周期信号FC可以包括关于通过第一透镜单元170输出的调制信号的信息。调制周期信号FC可以被输入到解调器150。解调器150可以基于调制周期信号FC而输出用于控制接收机120的驱动控制信号TC。解调器150可以确定驱动控制信号TC的不同相位，其对应于调制周期信号FC的相位。根据一个实施方式，解调器150可以包括相位信号发生器152和驱动器154。相位信号发生器152可以输出相位信息信号PFC，例如0度和180度。在另一实施方式中，解调器150中的相位信号发生器152可以向驱动器154输出相位信息信号PFC，例如90度、180度、270度和/或360度。响应于由相位信号发生器152确定的相位信息信号PFC，驱动器154可以向接收机120输出驱动控制信号TC。这里，接收机120可以包括像素阵列126。由接收机120采集的反射信号可以由解调器150中的相位信号发生器152和驱动器154确定，这将在后面参照图6和图7详细描述。因为解调器150通过调制周期信号FC识别调制信号的特性，所以解调器150可以通过相移来控制或驱动接收机120，以测量或采集反射信号
可以基于从调制器150输出的驱动控制信号TC来控制接收机120。解调器150可以响应于用于控制发射机110的调制周期信号FC生成驱动控制信号TC。解调器150中的相位信号发生器152可以输出对应于调制周期信号FC的相位信息信号PFC，并且驱动器154可以基于相位信息信号PFC来驱动接收机120。驱动器154可以生成驱动控制信号TC。这里，相位信息信号PFC可以包括彼此具有诸如180°或90°的预设相位差的多个信号。驱动器154可以响应于相位信息信号PFC而输出用于驱动接收机120中所包括的像素阵列126中的多个像素的驱动控制信号TC。
从接收机120输出的多个像素信息PI(例如，电荷量)或多个信号可以通过信号转换器160而被转换成多条数字数据。例如，从由解调器150控制的接收机120输出的多个像素信息PI(例如，电荷量)或多个信号可以是模拟数据类型的，并且信号转换器160可以将像素信息PI转换成多条数字数据DD。由信号转换器160转换的数据DD可以传输到信号处理器130。
信号处理器130可以通过基于从信号转换器160传输的多条数据的计算处理来计算或估计TOF感测系统100A和目标20之间的距离。后面将参照图6至图7来描述信号处理器130的操作。此外，可以基于由信号处理器130计算的估计距离来计算关于场景或特定区域中所包括的物体的深度信息。例如，当TOF感测系统100A和目标20的第一位置之间的距离为3m时，TOF感测系统100A和目标20的第二位置之间的另一距离为3.5m。在这种情况下，TOF感测系统100A能够识别出第一位置和第二位置之间的深度信息可以是50cm。由包括TOF感测系统100A的摄像机生成的图像能够基于该深度信息而以三维方式显示目标20。
图4示出了根据本公开的一个实施方式的TOF感测系统100的第二示例。与参照图3描述的TOF感测系统的第一示例相比，图4所示的TOF感测系统100可以在结构上简化，使得第二示例可以容易地应用于诸如移动电话和摄像机等小型电子装置。
参照图4，TOF感测系统100B可以包括发射机210、接收机220、发射机驱动器244、解调器250、信号处理器230、信号转换器260、第一透镜单元270和第二透镜单元280。根据一个实施方式，解调器250可以包括相位信号发生器252和驱动器254。
参照图4描述的TOF感测系统100B的配置(例如，组件)可以类似于参照图3描述的TOF感测系统100A的配置。作为示例而非限制的，发射机210、110、接收机220、120、解调器150、250、第一透镜单元270、170和第二透镜单元280、180可以执行相似的功能或扮演类似的角色。在此，详细描述可以集中在其间的差异上。
信号处理器230可以从可与TOF感测系统100B交互操作的另一设备或用户接口接收获得或测量距离(深度信息)的请求。响应于该请求，信号处理器230可以向另一设备或用户接口输出关于估计或计算的距离的数据。在接收到获得距离或深度信息的请求之后，信号处理器230可以向发射机驱动器244输出具有预设调制频率的调制周期信号FC。发射机驱动器244可以响应于从信号处理器230输出的调制周期信号FC而输出发射控制信号DC。
此外，从信号处理器230输出的具有调制频率的调制周期信号FC可以被输入到解调器250。解调器250可以响应于调制周期信号FC而输出用于控制接收机220的驱动控制信号TC。解调器250可以确定对应于调制周期信号FC的不同相位。例如，解调器250中的相位信号发生器252可以向驱动器254输出相位信息信号PFC，例如90度、180度、270度或360度。响应于由相位信号发生器252确定的相位信息信号PFC，驱动器254可以向接收机220发送驱动控制信号TC。这里，接收机220可以包括像素阵列126。在此，驱动控制信号TC可以包括具有不同相位的多个信号。将参照图6和图7描述由解调器250中的相位信号发生器252和驱动器254控制的接收机220所采集的反射信号。
因为解调器250通过调制周期信号FC来识别调制信号的特性，所以解调器250可以通过相移而驱动接收机220以测量或采集反射信号。在此，相移可以包括用于通过由具有不同相位的信号切换的多个路径来接收入射光的处理。
在响应于从解调器250发送的驱动控制信号TC而测量、采集或确定反射信号之后，接收机220可以输出像素信息PI。像素信息PI可以被输入到信号转换器260。信号转换器260可以向信号处理器230输出数字数据DD。信号处理器230可以基于数字数据DD来计算或获得距离信息。后面将参照图6和图7描述信号处理器230的详细操作。
根据一个实施方式，TOF感测系统100A、100B可以包括各种类型的电路系统、电路和算法，其可以被配置成生成从发射机110、210输出的调制信号以及用于驱动接收机120、220中所包括的像素阵列126的驱动控制信号TC。驱动控制信号TC可以与调制信号相关联。
参照图3和图4描述的TOF感测系统100A、100B可以彼此区分开。调制控制器142可以被包括在TOF感测系统100A中，但是未被包括在TOF感测系统100B中。根据一个实施方式，调制控制器142可以执行用于减少调制信号的分集(diversity)和通过发射机110输出的调制信号的误差的操作。调制信号的一致性对于采集反射信号的相位可以是至关重要的。在TOF感测系统100A中，调制控制器142可以参与生成多种类型、多种特性或多种形状的调制信号，从而通过使用调制信号而即使在各种不同环境中也可以容易地执行深度/距离信息。例如，当确定在特定环境中获得深度/距离信息时的误差严重时，信号处理器130可以生成调制控制信号MC到调制控制器142，使得调制控制器142能够输出具有不同形状或不同频率的调制周期信号FC中的至少一个，以提高在各种不同环境中的深度信息的准确度。
图5示出了根据本公开的一个实施方式的配备有TOF感测系统100的图像传感器中所包括的像素的示例。
参照图5，图像传感器520可以包括像素阵列126和驱动器122，像素阵列126包括多个像素128，驱动器122用于驱动像素阵列126。在像素阵列126中，可以根据多个行和多个列来排列多个像素128。
根据一个实施方式，多个像素128中的每一个可以不同地实现。在第一示例中，像素128A可以包括单个光接收元件(例如，光电二极管D)和单个传输栅极TG。在第二示例中，像素128B可以包括两个光接收元件(例如，光电二极管D1、D2)和两个传输栅极TG1、TG2。
在第二示例中，像素128B可以包括两个节点或两个分接头(tap)。每个像素中的两个光接收元件中的每一个能够独立生成对应于入射光(例如，图1至图4所示的反射信号)的一定量的光电荷。但是，可以通过驱动具有相反相位的控制信号来控制两个传输栅极TG1、TG2。因为两个光接收元件中的每一个能够在接收到反射信号的同时生成一定量的光电荷，所以如果光接收元件具有相同的平面尺寸，则在每个像素中生成的光电荷量可以大于在具有单个光接收元件的每个像素中生成的光电荷量。然而，因为驱动控制信号具有相反的相位，所以两个传输栅极TG1、TG2可以交替地输出一定量的光电荷，从而看起来每个像素可以像在具有时滞(time lag)的情况下工作的两个像素一样操作。因此，即使像素的尺寸可能减小，但是也可以避免每个像素的光接收面积的可能减小。此外，可以提高图像传感器的分辨率。
图6示出了根据本公开的一个实施方式的TOF感测系统100中所包括的图像传感器520的操作。
参照图6，安装在TOF感测系统100中的图像传感器520中所包括的多个像素128可以包括一对接收机328A和328B。参照图5和图6，像素128可以包括一对接收机328A和328B。在另一示例中，两个相邻像素128可以成对地一起工作。
如图1至图4所示，从TOF感测系统100输出的调制信号在被目标20反射后可以作为反射信号被输入。
一对接收机可以包括第一相位接收机328A和第二相位接收机328B。第一相位接收机328A和第二相位接收机328B可以响应于反射信号(例如，入射光)而以不同的时序(即，彼此相反的不同相位)交替地输出像素信息PI。第一相位接收机328A可以被称为同相接收机(in-phase receptor)，而第二相位接收机328B可以称为异相接收机(out-of-phasereceptor)。
根据一个实施方式，调制信号可以包括发射机110、210导通的激活部分和发射机110、210关断的停用部分。激活部分可以对应于调制信号的半个周期，并且停用部分可以对应于调制信号的另外半个周期。在本文中，激活部分和停用部分可以具有相同的时间量。调制信号可以向目标20飞行，然后作为反射信号从目标20被反射，反射信号由接收机120、220识别。在本文中，反射信号和调制信号可以具有相同的诸如周期或频率的特性。调制信号和由接收机120、220接收的反射信号可以具有相位差，该相位差表示TOF感测系统100和目标20之间的飞行时间或飞行距离。
根据一个实施方式，在发射机110、210导通以输出调制信号的半个周期期间，激活第一相位接收机328A，并且停用第二相位接收机328B。在发射机110、210关断的另外半个周期期间，激活第一相位接收机328A，并且停用第二相位接收机328B。
当反射信号和调制信号具有如图6所示的相位差时，响应于反射信号而生成的电荷中的一些可以从第一相位接收机328A输出，而电荷的剩余部分可以从第二相位接收机328B输出。比较通过第一相位接收机328A和第二相位接收机328B输出的电荷量，TOF感测系统100能够估计或计算TOF感测系统100和目标20之间的飞行时间或飞行距离。
例如，尽管未示出，但是假设调制信号传播的距离为0m。在这种情况下，从第一相位接收机328A输出的响应于反射信号而生成的电荷量可以是100％，但是第二相位接收机328B可以不输出电荷，即输出的响应于反射信号而生成的电荷量为0％.
可以基于调制信号的频率(周期)和光速来计算调制信号传播的距离。例如，当假设调制信号的频率为1Hz时，调制信号的周期为1秒。如果通过第一相位接收机328A输出的响应于反射信号而生成的电荷量为0％，并且通过第二相位接收机328B输出的响应于反射信号而生成的电荷量为100％，则能够计算出调制信号可以飞行0.5秒。在这种情况下，假设调制信号飞行到目标所用的时间和反射信号返回所用的时间相同，则基于作为整个飞行时间的一半的0.25秒来确定TOF感测系统和目标之间的距离。可以通过将0.25秒和光速相乘来确定距离。
图7描述了根据本公开的一个实施方式的一种在TOF感测系统100中估计距离的方法和一种确定调制信号的幅度的方法。参照图6和图7，计算距离的方法和确定调制信号幅度的方法可以是由参照图3和图4描述的信号处理器130、230执行的一种内部操作。
参照图7，调制信号和反射信号之间存在相位差
Figure BDA0002559285470000151
如上参照图1至图4所述，从TOF感测系统100输出的调制信号可以在从目标20被反射后作为反射信号被输入。
参照图3、图4和图7，图7所示的调制信号可以被理解为从发射机210生成并且通过第一透镜单元270输出的信号。反射信号可以被理解为通过第二透镜单元280被输入到接收机220的信号。
TOF感测系统100能够移动调制信号的相位。例如，可以由解调器150、250生成并且执行0°、90°、180°和270°的相移。参照图6，在接收机120、220中可以使用一对0°和180°和/或另一对90°和270°。在接收机120、220中使用的相位彼此相反。
例如，可以将图7中的用于识别反射信号的相移信号C1、C2、C3、C4当作如参照图3和图4所述的从解调器150、250输出并且被输入到接收机120、220的驱动控制信号TC。
响应于诸如入射光的反射信号而生成一定量的电荷。每个像素中的诸如光电二极管的光接收元件能够基于入射光而生成一定量的电荷，但是每个像素可以由相移信号C1、C2、C3、C4控制。因此，每个像素128可以根据电荷量和对应于0°、180°、90°、270°的相移的相移信号C1、C2、C3和C4来输出像素信息Q1、Q2、Q3、Q4。例如，第一像素信息Q1可以从由第一相移信号C1控制的像素128输出，并且第二像素信息Q2可以从由第二相移信号C2控制的另一像素128输出。在像素128具有双分接头方案的实施方式中，第一像素信息Q1和第二像素信息Q2能够从同一的像素128但是经过不同的传输栅极而输出，这些不同的传输栅极可以由具有相反相位的驱动信号独立控制。在像素128具有单个光电二极管和单个传输栅极的另一实施方式中，第一像素信息Q1和第二像素信息Q2可以从相邻像素128独立地输出，所述相邻像素128可以由具有相反相位的驱动信号独立控制。由光接收元件生成的电荷量可以被分割并且作为像素信息Q1、Q2、Q3、Q4输出。例如，可将图7所示的对应于反射信号的多条像素信息Q1、Q2、Q3、Q4理解为从参照图3和图4描述的接收机120、220输出的像素信息PI。
在此基础上，可以由以下关系式确定由参照图3和图4描述的信号处理器130、230计算的相位差
Figure BDA0002559285470000164
Figure BDA0002559285470000161
当确定相位差
Figure BDA0002559285470000165
时，可以根据光速(例如，光常数c)和调制信号的频率fmod来计算距离。
Figure BDA0002559285470000162
此外，可以基于像素信息Q1、Q2、Q3、Q4来估计调制信号的幅度。
Figure BDA0002559285470000163
通过上述方式，TOF感测系统100可以确定调制信号的频率或幅度，并且计算TOF感测系统100和目标20之间的距离。根据一个实施方式，调制信号的频率或幅度可以根据TOF感测系统100的环境而改变。
另一方面，在TOF感测系统100的操作中，由于可以基于与调制信号相关联的相移信号中的每一个而准确输出响应于反射信号生成的电荷量，因此可以减小距离误差并且能够提高深度信息的分辨率。
如图1所述，在TOF感测系统100工作的环境中，存在调制信号和反射信号，以及自然光或环境光。例如，在TOF感测系统100中使用的调制信号可以具有在紫外区域或红外区域中的频带。调制信号也可能与环境中的任何自然光或光信号具有相同的频率。即使第二透镜单元180、280可以具有滤光器，具有在紫外区域或红外区域中的对应频带的自然光或环境光也能够被输入到TOF感测系统100。自然光或环境光可能作为噪音和干扰。因此，当TOF感测系统100可能在白天在户外使用时，接收机120、220可能由于自然光或环境光而接收过多的入射光。如果过多的入射光输入到接收机，则TOF感测系统100可能没有用于计算或估计到目标的距离或目标的深度信息的裕度(margin)。
图8示出了根据本公开的一个实施方式的TOF感测系统128中包括的图像传感器520内的像素128的结构。
参照图8，图像传感器中的像素128可以包括多个光接收元件PD。参照图5和图6，图像传感器520的每个像素128可以包括两个光电二极管，或者两个相邻像素128可以成对操作。在图8中，描述了单个像素128包括两个光电二极管的示例。
根据一个实施方式，图像传感器520的像素128可以根据电流辅助光子解调(CAPD)方法工作或被驱动。CAPD方法通过使用像素128中的漂移电流来以高速驱动像素128，以提高反射光的读取准确度。虽然在传统图像传感器的像素中可能形成对应于生成的电荷(例如，电子-空穴对)的耗尽层，但是根据CAPD方法的像素可以通过其中由光电二极管生成的电荷由于由两个电极之间的电势差生成的漂移电流形成的漂移电场而快速移动的现象而以高速操作。
参照图8，根据本公开的一个实施方式的图像传感器520的像素128可以包括两个光接收电路322A、322B和像素数据输出电路324。两个光接收电路322A、322B可以具有相同的结构，并且像素数据输出电路324可以包括具有相同结构并且分别对应于两个光接收电路322A、322B的两个输出端子。
第一光接收电路322A可以包括光电二极管PD、复位栅极Rtr和传输栅极Ttr。复位栅极Rtr可以响应于复位信号Rx来复位取决于由光电二极管PD生成的电荷的电势Va。传输栅极Ttr可以响应于第一调制信号Txa而输出电势Va作为像素电压fda。
连接到第一光接收电路322A的像素数据输出电路324可以包括用于维持像素电压fda的电容器C、存取栅极(access gate)Atr和选择栅极Str。根据像素电压fda来确定存取栅极Atr的导通程度。响应于像素选择信号Sx，选择栅极Str可以输出从存取栅极Atr传输的电压作为像素信息PI。
根据一个实施方式，图8示出了包括对应于单个光电二极管PD的四个晶体管或栅极的像素128。在另一实施方式中，像素128可以包括至少一个光电二极管和对应于每个光电二极管的三个晶体管或栅极。
第二光接收电路322B可以与第一光接收电路322A具有相同的结构。连接到第二光接收电路322B的像素数据输出单元324可以包括电连接到第二光接收电路322B的电容器C和栅极(或晶体管)。根据一个实施方式，参照图6至图7，第一驱动控制信号Txa和第二驱动控制信号Txb可以具有相反的相位，以独立地驱动第一光接收电路322A中的传输栅极Ttr和第二光接收电路322B中的传输栅极Ttr。
根据一个实施方式，图像传感器520中的像素128可以包括校准电路326。校准电路326可以被配置成当电势Va、Vb中的至少一个达到参考电压Vref时，将从第一光接收电路322A和第二光接收电路322B输出的多个像素电压fda、fdb调节相同的电平。可以基于光电二极管生成的电荷量来确定电势Va、Vb。例如，当基于在第一光接收电路322A中生成的电荷量而确定的电势Va达到参考电压Vref时，联接到像素数据输出电路324的校准电路326可以使与由第一光接收电路322A和第二光接收电路322B生成的电荷量相对应的像素电压fda、fdb偏移(例如，增加或减少)相同的电平或量。参照图6和图7，为了在TOF感测系统100中计算或估计关于目标的距离或深度信息，重要的是检测由成对工作的两个像素128或两个光接收电路生成的电荷量之间的差。因此，当基于由多个光接收电路或光电二极管生成的电荷量独立确定的任何电势Va或Vb达到参考电压Vref时，校准电路326可以将多个像素电压fda、fdb调节相同的预设电平，从而避免像素信息PI的饱和。因此，TOF感测系统100可以获得用于计算或估计关于目标的距离或深度信息的操作裕度。
图9示出了联接到参照图8描述的图像传感器520的像素128的校准电路326。
参照图9，校准电路326可以包括比较器334和多个电流源332a、332b，比较器334被配置成将多个电势Va、Vb与参考电压Vref进行比较，多个电流源332a、332b被配置成提供电流Ic。多个电势Va、Vb可以根据从多个光电二极管或多个光接收电路生成的电荷量而独立变化。电流Ic可以用于响应于比较器334的操作结果来调节多个像素电压fda、fdb。
在图9中，比较器334可以将参考电压Vref与基于由两个光电二极管生成的电荷量、第一驱动控制信号Txa和第二驱动控制信号Txb而确定的两个电势Va、Vb进行比较。然而，根据一个实施方式，可以将三个或更多个电势与参考电压Vref进行比较。参照比较器334的配置，随着比较目标的数量增加，其他电势可以与电势Va、Vb并联联接。因此，比较器334可以将参考电压Vref与从图像传感器520的一行中的多个像素128输出的多个电势进行比较。
此外，多个电流源332a、332b可以通过全局电流镜线路连接到相邻像素128中所包括的其他电流源。由多个电流源332a、332b提供的电流Ic的量是预先确定的。可以向每个像素128提供相同量的电流Ic。在图像传感器520中，全局电流镜线路可以连接到被包括在连接成行的多个像素128中的每一个中的校准电路326。
根据一个实施方式，可以根据被施加到图像传感器520的电源电压的电平和像素驱动频率等来确定从多个电流源332a、332b提供的电流Ic。此外，当TOF感测系统100能够根据操作模式改变像素驱动频率时，可以改变由多个电流源332a、332b提供的电流Ic的量。
参照图9，多个电流源332a、332b可以包括具有连接到全局电流镜线路的栅极的第一晶体管和具有接收比较器334的操作结果的栅极的第二晶体管。根据一个实施方式，可以改变可以提供预设量的电流Ic的多个电流源332a、332b的内部配置。
另一方面，在图像传感器520中所包括的多个像素128的校准电路326中，比较器334的操作结果可以相同或不同。这些结果可以指示在反射信号被输入到图像传感器520的场景(或图像帧)中的所有或一些部分中出现的由于自然光或环境光所引起的噪声。即使当噪声出现在图像传感器520采集关于距离或深度信息的数据的所有或一些区域中时，校准电路326的比较结果也可以用于去除该噪声。此外，因为校准电路326不影响基于从每个光接收元件(例如光电二极管)生成的电荷量而独立确定的多个电势之间的差，也不会改变该差，所以可以避免关于从TOF感测系统100输出的距离或深度信息的数据失真。
图10示出了图8和9所示的校准电路326的操作。
参照图10，图像传感器520中的每个像素128被提供有电源电压Vdd，并且像素128中的多个光接收元件接收反射信号和自然光(或环境光)。此外，具有相同相位和相同的量的自然光(或环境光)恒定地被输入到多个光接收元件。
多个光接收元件可以生成对应于反射信号和自然光(或环境光)的一定量的电荷，并且可以基于从多个光接收元件中的每一个生成的电荷量改变电势Va、Vb。因为自然光(或环境光)以相同的相位和相同的量被输入到多个光接收元件中的每一个，所以响应于自然光(或环境光)而从多个光接收元件中的每一个生成的电荷量基本上彼此相同。然而，参照图6和图7，根据目标20和TOF感测系统100之间的距离，响应于反射信号而从多个光接收元件生成的电荷量可能不同。因此，当驱动图像传感器520时，例如，当每个像素128激活时，在基于多个光接收元件中生成的电荷量而确定的电势Va、Vb之间可能出现差异。
随着基于电荷量确定的电势Va、Vb之间的差增大，关于TOF感测系统100和目标之间的距离或深度信息的分辨率和精度可以提高。然而，当从多个光接收元件生成的电荷量由于自然光或环境光而快速增加时，基于电荷量确定的电势Va、Vb也可能快速增加。当电势Va、Vb中的一个超过参考电压Vref时，TOF感测系统100可能不能再识别响应于反射信号而从多个光接收元件生成的电荷量之间的差，使得关于目标和TOF感测系统100之间的距离的分辨率和精度可以降低或变差。
因此，当(基于电荷量确定的)多个电势Va、Vb中的一个达到参考电压Vref时，校准电路326能够提供电流以将多个像素电压fda、fdb调节预设电平“Vrise.max”。预设电平“Vrise.max”可以小于电源电压Vdd和参考电压Vref之间的差。可以如下式所示来计算通过校准电路326增加多个像素电压fda、fdb的程度。
Figure BDA0002559285470000201
在本文中，电流Ic是由校准电路326提供的电流的量，fmod是像素驱动频率，而C是光速。像素驱动频率fmod可以是用于控制像素128中的传输栅极Ttr的第一调制信号Txa和第二调制信号Txb的频率。
另一方面，参考电压Vref可以具有小于电源电压Vdd并且大于零的值。电源电压Vdd和参考电压Vref之间的差越大，TOF感测系统100的分辨率和精度变得越高。然而，可以对应于图像传感器520的像素128中的包括晶体管的像素数据输出电路324的配置来确定参考电压Vref。例如，参考电压Vref可以大于图像传感器520的像素128中的源极跟随器的电压余量(voltage headroom)。
当基于电荷量确定的多个电势Va、Vb中的一个达到参考电压Vref时，校准电路326可以向像素128提供电流，以将多个像素电压fda、fdb调节预设电平“Vrise.max”。可以在TOF感测系统100可以获得距离或深度信息一次的状态下重复执行对于多个像素电压fda，fdb的这种电平转换。在将多个像素电压fda、fdb转换预设电平“Vrise.max”时或之后，可以逐渐增大响应于反射信号而从多个光接收元件生成的电荷量之间的差。从第一光接收电路322A和第二光接收电路322B中包括的多个光接收元件PD流出的电流Isa、Isb之间的差可以更大。结果，可以进一步增大从第一光接收电路322A和第二光接收电路322B输出的多个像素电压fda、fdb之间的差，从而能够提高深度信息的分辨率和精度。
图11示出了根据本公开的一个实施方式的TOF感测系统100中所包括的图像传感器520的电流源。
参照图11，图像传感器520中的像素阵列126可以包括沿着多个行和多个列排列的多个像素128。电流提供电路350设置在多个行中的每一行中。电流提供电路350可以控制校准电路326能够通过全局电流镜线路提供到每个像素128的电流Ic的量。电流提供电路350可以响应于电流控制信号来确定电流Ic的量。
根据一个实施方式，可以利用对应于TOF感测系统100中使用的像素驱动频率的数量的多个位来实现电流控制信号。TOF感测系统100中的接收机可以根据所使用的像素驱动频率而不同地工作。TOF感测系统100能够基于针对特定的情况或环境选择的像素驱动频率而更精确地测量或计算距离。也就是说，能够改变像素驱动频率以获得更精确的TOF感测系统100和目标20之间的距离。如果为了更精确的距离测量而改变像素驱动频率fmod，则也可以改变通过校准电路提供的电流Ic的量。
根据本公开的一个实施方式，TOF感测系统100可以减少或避免环境中存在的干扰、扰乱或噪声的影响，从而生成显示物体的精确深度信息的三维图像。
此外，本公开的一个实施方式能够提供一种装置，该装置被配置成输出包括基于从物体或目标反射的光的相对值而确定的场景中的物体或目标的深度信息的3D图像，即使TOF感测系统100使用的调制信号的频域被包括在通常存在于环境中的自然光的频域中也是如此。
尽管已经针对具体实施方式例示和描述了本发明，但是根据本公开，对于本领域技术人员来说，显然，在不脱离如所附权利要求限定的本公开的精神和范围的情况下可以进行各种更改和变型。本发明包括落入权利要求范围内的所有更改和变型。
相关申请的交叉引用
本专利申请要求2019年12月9日提交的韩国专利申请No.10-2019-0162727的权益，其全部公开内容通过引用并入本文。

Claims (20)

1.一种在飞行时间TOF感测系统中使用的图像传感器，该图像传感器包括：
像素阵列，所述像素阵列包括多个像素，每个像素包括至少一个光电二极管，并且每个像素生成对应于入射光的电荷量；
比较电路，所述比较电路被配置成将分别基于从每个像素输出的所述电荷量而独立地改变电压电平与参考电压进行比较以输出比较结果；以及
校准电路，所述校准电路被配置成基于所述比较结果而等量地调节所述电压电平。
2.根据权利要求1所述的图像传感器，其中，所述校准电路被配置成当以预定量调节所述电压电平时保持所述电压电平之间的差。
3.根据权利要求1所述的图像传感器，其中，所述校准电路还被配置成向所述像素阵列提供预设量的电流。
4.根据权利要求1所述的图像传感器，其中，所述像素包括：
复位栅极，所述复位栅极联接到所述至少一个光电二极管，并且被配置成响应于复位信号而复位所述电荷量；
传输栅极，所述传输栅极被配置成响应于调制信号而输出基于所述电荷量的像素电压；
存取栅极，所述存取栅极被配置成响应于从所述传输栅极传输的所述像素电压而导通；以及
选择栅极，所述选择栅极被配置成响应于选择信号而选择性地输出从所述存取栅极输出的电压。
5.根据权利要求4所述的图像传感器，其中，所述校准电路还被配置成：
检查所述传输栅极和所述至少一个光电二极管之间的基于所述电荷量而变化的电势；并且
调节所述传输栅极和所述存取栅极之间的所述像素电压。
6.根据权利要求1所述的图像传感器，其中，所述校准电路包括电流源，所述电流源被配置成向所述像素阵列提供电流以用于调节所述电压电平。
7.根据权利要求6所述的图像传感器，其中，所述电流源包括：
开关晶体管，所述开关晶体管联接到每个像素并且响应于所述比较结果而导通；以及
可变电阻器，所述可变电阻器联接到电源并且被配置成确定所述电流的量。
8.根据权利要求1所述的图像传感器，
其中，所述多个像素沿着多个行和多个列排列，并且
其中，所述校准电路逐行控制所述像素。
9.根据权利要求1所述的图像传感器，该图像传感器还包括电流提供电路，所述电流提供电路被配置成响应于电流控制信号而确定由所述校准电路提供的电流的量，其中，所述电流提供电路和所述校准电路作为电流镜工作。
10.根据权利要求9所述的图像传感器，
其中，所述校准电路被配置成以预定量增加所述电压电平，并且
其中，所述预定量与所述电流的量成正比，并且与每个像素的驱动频率成反比。
11.一种飞行时间TOF感测系统，该TOF感测系统包括：
发射机，所述发射机被配置成输出具有预设相位的调制信号；
接收机，所述接收机包括被配置成接收从目标被反射的反射信号的图像传感器；以及
信号处理电路，所述信号处理电路被配置成基于所述调制信号和所述反射信号之间的相位关系来确定距所述目标的距离，
其中，所述图像传感器包括：
像素阵列，所述像素阵列包括多个像素，每个像素包括至少一个光电二极管，并且每个像素生成对应于所述反射信号的电荷量；
比较电路，所述比较电路被配置成将分别基于从每个像素输出的所述电荷量而独立地改变电压电平与参考电压进行比较以输出比较结果；以及
校准电路，所述校准电路被配置成基于所述比较结果而等量地调节所述电压电平。
12.根据权利要求11所述的TOF感测系统，其中，所述校准电路被配置成当以预定量调节所述电压电平时保持所述电压电平之间的差。
13.根据权利要求11所述的TOF感测系统，其中，所述校准电路还被配置成向所述像素阵列提供预设量的电流。
14.根据权利要求11所述的TOF感测系统，其中，所述像素包括：
复位栅极，所述复位栅极联接到所述至少一个光电二极管，并且被配置成响应于复位信号而复位所述电荷量；
传输栅极，所述传输栅极被配置成响应于调制信号而输出基于所述电荷量的像素电压；
存取栅极，所述存取栅极被配置成响应于从所述传输栅极传输的所述像素电压而导通；以及
选择栅极，所述选择栅极被配置成响应于选择信号而选择性地输出从所述存取栅极输出的电压。
15.根据权利要求14所述的TOF感测系统，其中，所述校准电路还被配置成：
检查所述传输栅极和所述至少一个光电二极管之间的基于所述电荷量而变化的电势；并且
调节所述传输栅极和所述存取栅极之间的所述像素电压。
16.根据权利要求11所述的TOF感测系统，其中，所述校准电路包括电流源，所述电流源被配置成向所述像素阵列提供电流以用于调节所述电压电平。
17.根据权利要求16所述的TOF感测系统，其中，所述电流源包括：
开关晶体管，所述开关晶体管联接到每个像素并且响应于所述比较结果而导通；以及
可变电阻器，所述可变电阻器联接到电源并且被配置成确定所述电流的量。
18.根据权利要求11所述的TOF感测系统，
其中，所述多个像素沿着多个行和多个列排列，并且
其中，所述校准电路逐行控制所述像素。
19.根据权利要求11所述的TOF感测系统，该TOF感测系统还包括电流提供电路，所述电流提供电路被配置成响应于电流控制信号而确定由所述校准电路提供的电流的量，其中，所述电流提供电路和所述校准电路作为电流镜工作。
20.根据权利要求19所述的TOF感测系统，
其中，所述校准电路被配置成以预定量增加所述电压电平，并且
其中，所述预定量与所述电流的量成正比，并且与每个像素的驱动频率成反比。
CN202010601952.4A 2019-12-09 2020-06-29 飞行时间感测系统和其中使用的图像传感器 Active CN113030999B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0162727 2019-12-09
KR1020190162727A KR20210072423A (ko) 2019-12-09 2019-12-09 비행시간거리측정 방식의 센싱 시스템 및 이미지 센서

Publications (2)

Publication Number Publication Date
CN113030999A true CN113030999A (zh) 2021-06-25
CN113030999B CN113030999B (zh) 2024-05-31

Family

ID=76210882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010601952.4A Active CN113030999B (zh) 2019-12-09 2020-06-29 飞行时间感测系统和其中使用的图像传感器

Country Status (5)

Country Link
US (1) US11624834B2 (zh)
JP (1) JP2021092553A (zh)
KR (1) KR20210072423A (zh)
CN (1) CN113030999B (zh)
TW (1) TW202122823A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116755100A (zh) * 2023-08-17 2023-09-15 深圳市速腾聚创科技有限公司 激光雷达设备及其测距调节方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI762387B (zh) * 2021-07-16 2022-04-21 台達電子工業股份有限公司 飛行測距裝置及其檢測方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1748304A1 (en) * 2005-07-27 2007-01-31 IEE International Electronics & Engineering S.A.R.L. Method for operating a time-of-flight imager pixel
US20130062500A1 (en) * 2011-09-14 2013-03-14 Samsung Electronics Co., Ltd. Image sensor apparatus using shaded photodetector for time of flight determination
CN103297714A (zh) * 2012-03-01 2013-09-11 全视科技有限公司 用于飞行时间传感器的电路配置和方法
US20140183338A1 (en) * 2012-12-27 2014-07-03 Samsung Electronics Co., Ltd. Depth pixel of three-dimensional image sensor and three-dimensional image sensor including the same
US20160054447A1 (en) * 2014-08-20 2016-02-25 Omnivision Technologies, Inc. Programmable current source for a time of flight 3d image sensor
CN105763788A (zh) * 2014-08-29 2016-07-13 全视科技有限公司 用于飞行时间成像系统的校准电路及方法
US20160353084A1 (en) * 2015-05-26 2016-12-01 Omnivision Technologies, Inc. Time of flight imaging with improved initiation signaling
US20170034464A1 (en) * 2015-07-29 2017-02-02 Infineon Technologies Ag Imaging apparatus and imaging method for capturing imaging data via a pixel array
US20170142362A1 (en) * 2015-11-16 2017-05-18 Taiwan Semiconductor Manufacturing Co., Ltd. Image sensor
CN207037088U (zh) * 2015-12-30 2018-02-23 法国原子能及替代能源委员会 飞行时间探测像素元件和图像传感器
US20180059224A1 (en) * 2016-08-26 2018-03-01 Samsung Electronics Co., Ltd. Time-of-flight (tof) image sensor using amplitude modulation for range measurement
US20180176492A1 (en) * 2016-12-20 2018-06-21 Microsoft Technology Licensing, Llc Readout voltage uncertainty compensation in time-of-flight imaging pixels
CN108881752A (zh) * 2017-05-16 2018-11-23 三星电子株式会社 图像传感器中的像素、成像单元、测距的方法和系统
CN109863604A (zh) * 2016-10-24 2019-06-07 因维萨热技术公司 具有相位敏感像素的图像传感器
CN110133671A (zh) * 2018-02-09 2019-08-16 英飞凌科技股份有限公司 双频飞行时间三维图像传感器及测量对象深度的方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2116864A1 (en) 2008-05-09 2009-11-11 Vrije Universiteit Brussel TOF range finding with background radiation suppression
US8988598B2 (en) 2012-09-14 2015-03-24 Samsung Electronics Co., Ltd. Methods of controlling image sensors using modified rolling shutter methods to inhibit image over-saturation
EP2874388B1 (en) 2013-11-15 2019-05-15 Sony Depthsensing Solutions Method for avoiding pixel saturation
CN106441597B (zh) * 2016-09-26 2018-10-30 东南大学 一种应用于阵列雪崩二极管的反偏电压调节电路
EP3392675B1 (en) 2017-04-21 2021-03-10 Melexis Technologies NV Active pixel circuit for a time-of-flight system and method for operating the same
US11159755B2 (en) * 2019-03-22 2021-10-26 Infineon Technologies Ag Time-of-flight sensor with reduced transistor count pixels

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1748304A1 (en) * 2005-07-27 2007-01-31 IEE International Electronics & Engineering S.A.R.L. Method for operating a time-of-flight imager pixel
US20130062500A1 (en) * 2011-09-14 2013-03-14 Samsung Electronics Co., Ltd. Image sensor apparatus using shaded photodetector for time of flight determination
CN103297714A (zh) * 2012-03-01 2013-09-11 全视科技有限公司 用于飞行时间传感器的电路配置和方法
US20140183338A1 (en) * 2012-12-27 2014-07-03 Samsung Electronics Co., Ltd. Depth pixel of three-dimensional image sensor and three-dimensional image sensor including the same
US20160054447A1 (en) * 2014-08-20 2016-02-25 Omnivision Technologies, Inc. Programmable current source for a time of flight 3d image sensor
CN105763788A (zh) * 2014-08-29 2016-07-13 全视科技有限公司 用于飞行时间成像系统的校准电路及方法
US20160353084A1 (en) * 2015-05-26 2016-12-01 Omnivision Technologies, Inc. Time of flight imaging with improved initiation signaling
US20170034464A1 (en) * 2015-07-29 2017-02-02 Infineon Technologies Ag Imaging apparatus and imaging method for capturing imaging data via a pixel array
US20170142362A1 (en) * 2015-11-16 2017-05-18 Taiwan Semiconductor Manufacturing Co., Ltd. Image sensor
CN207037088U (zh) * 2015-12-30 2018-02-23 法国原子能及替代能源委员会 飞行时间探测像素元件和图像传感器
US20180059224A1 (en) * 2016-08-26 2018-03-01 Samsung Electronics Co., Ltd. Time-of-flight (tof) image sensor using amplitude modulation for range measurement
CN108307180A (zh) * 2016-08-26 2018-07-20 三星电子株式会社 图像传感器中的像素、成像单元、用于测距的系统及方法
CN109863604A (zh) * 2016-10-24 2019-06-07 因维萨热技术公司 具有相位敏感像素的图像传感器
US20180176492A1 (en) * 2016-12-20 2018-06-21 Microsoft Technology Licensing, Llc Readout voltage uncertainty compensation in time-of-flight imaging pixels
CN108881752A (zh) * 2017-05-16 2018-11-23 三星电子株式会社 图像传感器中的像素、成像单元、测距的方法和系统
CN110133671A (zh) * 2018-02-09 2019-08-16 英飞凌科技股份有限公司 双频飞行时间三维图像传感器及测量对象深度的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116755100A (zh) * 2023-08-17 2023-09-15 深圳市速腾聚创科技有限公司 激光雷达设备及其测距调节方法
CN116755100B (zh) * 2023-08-17 2024-02-02 深圳市速腾聚创科技有限公司 激光雷达设备及其测距调节方法

Also Published As

Publication number Publication date
US20210173085A1 (en) 2021-06-10
US11624834B2 (en) 2023-04-11
JP2021092553A (ja) 2021-06-17
TW202122823A (zh) 2021-06-16
CN113030999B (zh) 2024-05-31
KR20210072423A (ko) 2021-06-17

Similar Documents

Publication Publication Date Title
CN106911888B (zh) 一种装置
CN112946686B (zh) 飞行时间感测系统及其中使用的图像传感器
US10430956B2 (en) Time-of-flight (TOF) capturing apparatus and image processing method of reducing distortion of depth caused by multiple reflection
WO2021051478A1 (zh) 一种双重共享tdc电路的飞行时间距离测量系统及测量方法
US9568607B2 (en) Depth sensor and method of operating the same
US20200072946A1 (en) Glare mitigation in lidar applications
CN110187355B (zh) 一种距离测量方法及深度相机
WO2021120402A1 (zh) 一种融合的深度测量装置及测量方法
KR20160032014A (ko) 타임 오브 플라이트 시스템 구동 방법
EP3980807A1 (en) Mixed active depth
WO2021051481A1 (zh) 一种动态直方图绘制飞行时间距离测量方法及测量系统
US20110051119A1 (en) Delay compensation in modulated optical time-of-flight phase estimation
WO2020101576A1 (en) Depth sensing using optical time-of-flight techniques through a transmissive cover
Hussmann et al. Pseudo-four-phase-shift algorithm for performance enhancement of 3D-TOF vision systems
CN113030999B (zh) 飞行时间感测系统和其中使用的图像传感器
Mufti et al. Statistical analysis of signal measurement in time-of-flight cameras
CN111352120B (zh) 飞行时间测距系统及其测距方法
WO2020210276A1 (en) Motion correction based on phase vector components
Hussmann et al. Modulation method including noise model for minimizing the wiggling error of TOF cameras
CN112034485A (zh) 利用飞行时间相机的反射率感测
US20120133617A1 (en) Application using a single photon avalanche diode (spad)
Laukkanen Performance evaluation of time-of-flight depth cameras
Slattery et al. ADI ToF Depth Sensing Technology: New and Emerging Applications in Industrial, Automotive Markets, and More
Mufti et al. Statistical analysis of measurement processes for time-of-flight cameras
Schönlieb et al. Stray-light mitigation for under-display time-of-flight imagers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant