CN110611755A - 图像感测系统及其多功能图像传感器 - Google Patents

图像感测系统及其多功能图像传感器 Download PDF

Info

Publication number
CN110611755A
CN110611755A CN201910145103.XA CN201910145103A CN110611755A CN 110611755 A CN110611755 A CN 110611755A CN 201910145103 A CN201910145103 A CN 201910145103A CN 110611755 A CN110611755 A CN 110611755A
Authority
CN
China
Prior art keywords
light
pixel
sensing operation
mode
pixel units
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910145103.XA
Other languages
English (en)
Other versions
CN110611755B (zh
Inventor
印秉宏
王佳祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Tyrafos Semiconductor Technologies Co Ltd
Original Assignee
Guangzhou Tyrafos Semiconductor Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Tyrafos Semiconductor Technologies Co Ltd filed Critical Guangzhou Tyrafos Semiconductor Technologies Co Ltd
Publication of CN110611755A publication Critical patent/CN110611755A/zh
Application granted granted Critical
Publication of CN110611755B publication Critical patent/CN110611755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D5/00—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable
    • G01D5/26—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable characterised by optical transfer means, i.e. using infrared, visible, or ultraviolet light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明提供一种图像感测系统及其多功能图像传感器。多功能图像传感器包括像素阵列电路以及读出电路。像素阵列电路包括多个像素单元。各像素单元于第一模式下受控于第一控制信号组以进行飞时测距感测运作，并据以依序产生多个第一输出电压。各像素单元于第二模式下受控于第二控制信号组以进行结构光感测运作，并据以依序产生多个第二输出电压。读出电路于第一模式下根据各像素单元所产生的此些第一输出电压分别取得对应于飞时测距感测运作的多个第一数字信息，且于第二模式下根据各像素单元所产生的此些第二输出电压分别取得对应于结构光感测运作的多个第二数字信息。

Description

图像感测系统及其多功能图像传感器
技术领域
本发明涉及一种感测技术，尤其涉及一种图像感测系统及其多功能图像传感器。
背景技术
随着科技的进步，三维(three-dimensional，3D)感测技术已应用在电子产品中。目前常见的3D感测技术包括立体视觉(Stereo Vision)感测技术、结构光(StructuredLight)感测技术以及飞时测距(Time of Flight，TOF)感测技术等等，但不限于此。
一般来说，不同的3D感测技术所采用的图像传感器也不相同。举例来说，结构光感测技术是对物体发射特定图案的光斑(Pattern)，再经由图像传感器来感测此物体表面上的光斑图案编码(Light Coding)以取得光斑的变形量，从而检测出物体的3D景深。而飞时测距感测技术则是对物体发射红外光并经由图像传感器接收物体表面的反射光，通过测量时间差以计算出物体的3D景深。由于结构光感测技术与飞时测距感测技术之间的技术差异，因此现行应用在结构光感测技术上的图像传感器并无法适用在飞时测距感测技术上，反之亦然。换句话说，现行的图像传感器无法通用于不同的3D感测技术领域，致使其应用范围受到局限。
发明内容
有鉴于此，本发明提供一种图像感测系统及其多功能图像传感器，具有结构光感测功能及飞时测距感测功能。
本发明的图像感测系统包括发光模块以及多功能图像传感器。发光模块用以发送光波于空间中。多功能图像传感器用以感测光波于空间中反射后的反射光。多功能图像传感器包括像素阵列电路以及读出电路。像素阵列电路包括多个像素单元。各像素单元于第一模式下受控于第一控制信号组以对反射光进行飞时测距感测运作，并据以依序产生多个第一输出电压。各像素单元于第二模式下受控于第二控制信号组以对反射光进行结构光感测运作，并据以依序产生多个第二输出电压。读出电路耦接像素阵列电路，用以于第一模式下根据各像素单元所产生的此些第一输出电压分别取得对应于飞时测距感测运作的多个第一数字信息，且用以于第二模式下根据各像素单元所产生的此些第二输出电压分别取得对应于结构光感测运作的多个第二数字信息。
本发明的多功能图像传感器用以感测光波于空间中反射后的反射光。多功能图像传感器包括像素阵列电路以及读出电路。像素阵列电路包括多个像素单元。各像素单元于第一模式下受控于第一控制信号组以对反射光进行飞时测距感测运作，并据以依序产生多个第一输出电压。各像素单元于第二模式下受控于第二控制信号组以对反射光进行结构光感测运作，并据以依序产生多个第二输出电压。读出电路耦接像素阵列电路，用以于第一模式下根据各像素单元所产生的此些第一输出电压分别取得对应于飞时测距感测运作的多个第一数字信息，且用以于第二模式下根据各像素单元所产生的此些第二输出电压分别取得对应于结构光感测运作的多个第二数字信息。
基于上述，在本发明所提出的图像感测系统及其多功能图像传感器中，像素阵列电路可根据不同的控制信号组(即第一控制信号组及第二控制信号组)执行飞时测距感测运作或是结构光感测运作。因此，多功能图像传感器不仅通用于飞时测距感测系统以及结构光感测系统，且可依据实际应用而动态地在飞时测距感测运作与结构光感测运作之间进行切换，大大地提高图像感测系统及其多功能图像传感器的应用范围及使用上的弹性。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附附图作详细说明如下。
附图说明
图1是依照本发明一实施例所示出的图像感测系统的应用情境示意图。
图2是依照本发明一实施例所示出的多功能图像传感器的电路方块示意图。
图3是依照本发明一实施例所示出的像素单元的电路架构及其与读出电路的耦接示意图。
图4A至图4D是依照本发明一实施例所示出的像素单元于第一模式下进行飞时测距感测运作的信号时序示意图。
图4E是依照本发明一实施例所示出的像素单元于第一模式下进行飞时测距感测运作的脉冲光波与脉冲反射光的时序示意图。
图5A及图5B是依照本发明一实施例所示出的像素单元于第二模式下进行结构光感测运作的信号时序示意图。
【符号说明】
100：图像感测系统
120：发光模块
140：多功能图像传感器
142：像素阵列电路
144：读出电路
146：处理电路
DI11、DI12、DI13、DI14：第一数字信息
DI21、DI22：第二数字信息
EL：光波
EL_1～EL_M：脉冲光波
FD：浮动扩散节点
GND：接地电压
OB：物体
PD：光传感器
PXU：像素单元
QA、QB：电荷量
RL：反射光
RL_1～RL_M：脉冲反射光
SCE：电荷存储元件
SF：源极追随晶体管
SPC：空间
SR1、SR2：重置控制信号
ST1、ST2：传输控制信号
T：脉波宽度
T10～T18、T20、T27～T29：时间点
Tb：时段
Td：时间延迟
TR1、TR2：重置开关
TS1：第一控制信号组
TS2：第二控制信号组
TX1、TX2：传输开关
V11、V12、V13、V14：第一输出电压
V21、V22：第二输出电压
VA：重置电源
具体实施方式
现将详细参考本发明示范性实施例，在附图中说明所述示范性实施例的实例。另外，凡可能之处，在附图及实施方式中使用相同标号的元件/构件代表相同或类似部分。
图1是依照本发明一实施例所示出的图像感测系统的应用情境示意图，图2是依照本发明一实施例所示出的多功能图像传感器的电路方块示意图。请合并参照图1及图2，图像感测系统100可包括发光模块120以及多功能图像传感器140，但不限于此。发光模块120用以发送光波EL于空间SPC中。光波EL在遭遇到空间SPC中的物体OB之后会反射。多功能图像传感器140则用以感测光波EL于空间SPC中反射后的反射光RL。
在本发明的一实施例中，发光模块120可采用激光二极管模块、发光二极管模块或其他发光元件来实现，但本发明不限于此。
如图2所示，多功能图像传感器140可包括像素阵列电路142以及读出电路144，但本发明不限于此。像素阵列电路142可包括以阵列形式排列的多个像素单元PXU。各像素单元PXU于第一模式下可受控于第一控制信号组TS1以对反射光RL进行飞时测距(time offlight)感测运作，并据以依序地产生多个第一输出电压。此外，各像素单元PXU于第二模式下可受控于第二控制信号组TS2以对反射光RL进行结构光(structured light)感测运作，并据以依序地产生多个第二输出电压。
读出电路144耦接像素阵列电路142。读出电路144于第一模式下可根据各像素单元PXU所产生的此些第一输出电压，分别取得对应于飞时测距感测运作的多个第一数字信息。除此之外，读出电路144于第二模式下可根据各像素单元PXU所产生的此些第二输出电压，分别取得对应于结构光感测运作的多个第二数字信息。
在本发明的一实施例中，多功能图像传感器140还可选择性的包括处理电路146。处理电路146耦接读出电路144。处理电路146于第一模式下可对各像素单元PXU的此些第一数字信息进行运算，以取得对应于各像素单元PXU的数字像素值。除此之外，处理电路146于第二模式下可对各像素单元PXU的此些第二数字信息进行运算，以取得对应于各像素单元PXU的数字像素值。在本发明的一实施例中，第一控制信号组TS1及第二控制信号组TS2可由处理电路146提供。
在本发明的另一实施例中，图2所示的处理电路146也可采用独立于多功能图像传感器140之外的图像处理装置来实现。如此一来，多功能图像传感器140则可省略设置处理电路146。
可以理解的是，通过提供不同的控制信号组(即第一控制信号组TS1及第二控制信号组TS2)至同一像素阵列电路142，可让像素阵列电路142执行飞时测距感测运作或是结构光感测运作。因此，本发明实施例所提出的多功能图像传感器140不仅可通用于飞时测距感测系统以及结构光感测系统中，且可依据实际应用而动态地在飞时测距感测运作与结构光感测运作之间进行切换，大大地提高多功能图像传感器140的应用范围及使用上的弹性。
在本发明的一实施例中，读出电路144可采用现有的读出电路来实现。举例来说，读出电路144可采用具有相关双重取样(correlated double sampling circuit，CDS)电路以及模拟数字转换器(analog-to-digital converter，ADC)的读出电路来实现，但本发明不限于此，本发明并不对读出电路144的电路架构加以限制。由于读出电路的实施方式及运作为本技术领域技术人员所熟悉，故在此不再赘述。
在本发明的一实施例中，处理电路146可以是硬件、固件或是存储在存储器而由微控制器或微处理器所载入执行的软件或机器可执行程序码。若是采用硬件来实现，则处理电路146可以是由单一整合电路芯片来实现，也可以由多个电路芯片所完成，但本发明并不以此为限制。上述多个电路芯片或单一整合电路芯片可采用特殊功能集成电路(ASIC)或可程序化逻辑闸阵列(FPGA)或复杂可编程逻辑装置(CPLD)来实现。而上述存储器可以是例如随机存取存储器、只读存储器或是快闪存储器等等。
以下说明图像感测系统100及多功能图像传感器140的详细运作。为了便于说明，以下采用五晶体管(5T)全域快门式(global shutter)的像素单元为范例来进行说明，但本发明不限于此。本发明的像素单元也可采用其他已知的像素电路来实现，本发明并不对像素单元的电路架构加以限制。另外，由于各像素单元的电路架构及运作相同，故以下仅针对其中一个像素单元来进行说明。
图3是依照本发明一实施例所示出的像素单元的电路架构及其与读出电路的耦接示意图。像素单元PXU可包括光传感器PD、电荷存储元件SCE、传输开关TX1、TX2、重置开关TR1、TR2以及源极追随晶体管SF。重置开关TR1的第一端耦接重置电源VA。重置开关TR1的控制端用以接收重置控制信号SR1。重置开关TR1的第二端耦接光传感器PD的阴极。光传感器PD的阳极耦接至接地电压GND。传输开关TX1的第一端耦接光传感器PD的阴极。传输开关TX1的控制端用以接收传输控制信号ST1。传输开关TX1的第二端耦接电荷存储元件SCE。传输开关TX2的第一端耦接电荷存储元件SCE。传输开关TX2的控制端用以接收传输控制信号ST2。传输开关TX2的第二端耦接浮动扩散节点FD。重置开关TR2的第一端耦接重置电源VA。重置开关TR2的控制端用以接收重置控制信号SR2。重置开关TR2的第二端耦接浮动扩散节点FD。源极追随晶体管SF的第一端耦接重置电源VA。源极追随晶体管SF的控制端耦接浮动扩散节点FD。源极追随晶体管SF的第二端用以输出第一输出电压V11～V14或是第二输出电压V21、V22。
图4A至图4D是依照本发明一实施例所示出的像素单元于第一模式下进行飞时测距感测运作的信号时序示意图，其中图4A至图4D所示出的重置控制信号SR1、SR2及传输控制信号ST1、ST2为图2所示的第一控制信号组TS1。请先合并参照图1、图2、图3及图4A。于图4A，像素单元PXU执行第(4N+1)个画面的飞时测距感测运作，其中N为大于或等于零的整数。首先，于图4A所示的重置阶段，可通过将重置控制信号SR1驱动至逻辑高电平，以导通重置开关TR1，从而重置光传感器PD。此外，可通过将重置控制信号SR2及传输控制信号ST2驱动至逻辑高电平，以导通重置开关TR2及传输开关TX2，从而重置浮动扩散节点FD及电荷存储元件SCE。
于图4A所示的积分阶段，发光模块120依序发送M个脉冲光波EL_1～EL_M于空间SPC，其中M为正整数。此M个脉冲光波EL_1～EL_M于空间SPC中经物体OB反射之后产生M个脉冲反射光RL_1～RL_M，其中脉冲反射光(例如RL_1)与其对应的脉冲光波(例如EL_1)之间具有时间延迟Td。
更进一步来说，于时间点T10至时间点T11之间，发光模块120发送第一个脉冲光波EL_1。此时，传输控制信号ST1为逻辑低电平而关断传输开关TX1，且重置控制信号SR1为逻辑高电平而导通重置开关TR1，致使光传感器PD为重置状态。
接着，于时间点T11至时间点T12之间，第一个脉冲光波EL_1已发送完毕。此时，重置控制信号SR1为逻辑低电平而关断重置开关TR1，且传输控制信号ST1为逻辑高电平而导通传输开关TX1，致使像素单元PXU感测第一个脉冲反射光RL_1于此时段内(即时间点T11至时间点T12之间)的信号(下称第一部分信号)，其中第一个脉冲反射光RL_1的第一部分信号即是第一个脉冲反射光RL_1相对于第一个脉冲光波EL_1的延迟信号。详细来说，于时间点T11至时间点T12之间，光传感器PD基于第一个脉冲反射光RL_1的第一部分信号而被积分，并将所累积的电荷传输至电荷存储元件SCE。
类似地，于时间点T12至时间点T13之间，发光模块120发送第二个脉冲光波EL_2。此时，传输控制信号ST1为逻辑低电平而关断传输开关TX1，且重置控制信号SR1为逻辑高电平而导通重置开关TR1，致使光传感器PD为重置状态。
接着，于时间点T13至时间点T14之间，第二个脉冲光波EL_2已发送完毕。此时，重置控制信号SR1为逻辑低电平而关断重置开关TR1，且传输控制信号ST1为逻辑高电平而导通传输开关TX1，致使像素单元PXU感测第二个脉冲反射光RL_2于此时段内(即时间点T13至时间点T14之间)的信号(下称第一部分信号)，其中第二个脉冲反射光RL_2的第一部分信号即是第二个脉冲反射光RL_2相对于第二个脉冲光波EL_2的延迟信号。详细来说，于时间点T13至时间点T14之间，光传感器PD基于第二个脉冲反射光RL_2的第一部分信号而被积分，并将所累积的电荷传输至电荷存储元件SCE。
依此类推，于时间点T16至时间点T17之间，发光模块120发送第M个脉冲光波EL_M。此时，传输控制信号ST1为逻辑低电平而关断传输开关TX1，且重置控制信号SR1为逻辑高电平而导通重置开关TR1，致使光传感器PD为重置状态。
于时间点T17至时间点T18之间，第M个脉冲光波EL_M已发送完毕。此时，重置控制信号SR1为逻辑低电平而关断重置开关TR1，且传输控制信号ST1为逻辑高电平而导通传输开关TX1，致使像素单元PXU感测第M个脉冲反射光RL_M于此时段内(即时间点T17至时间点T18之间)的信号(下称第一部分信号)，其中第M个脉冲反射光RL_M的第一部分信号即是第M个脉冲反射光RL_M相对于第M个脉冲光波EL_M的延迟信号。详细来说，于时间点T17至时间点T18之间，光传感器PD基于第M个脉冲反射光RL_M的第一部分信号而被积分，并将所累积的电荷传输至电荷存储元件SCE。
在像素单元PXU完成上述第(4N+1)个画面的M次感测运作之后，可通过将传输控制信号ST2驱动至逻辑高电平，以导通传输开关TX2，从而将电荷存储元件SCE于积分阶段所存储的电荷传输至浮动扩散节点FD，并通过源极追随晶体管SF产生第一输出电压V11，其中第一输出电压V11是对应于反射光RL的第一部分信号。另外，读出电路144可根据第一输出电压V11产生对应的第一数字信息DI11。
请接着合并参照图1、图2、图3及图4B。于图4B，像素单元PXU执行第(4N+2)个画面的飞时测距感测运作，其中N为大于或等于零的整数。首先，于图4B所示的重置阶段，可通过将重置控制信号SR1驱动至逻辑高电平，以导通重置开关TR1，从而重置光传感器PD。此外，可通过将重置控制信号SR2及传输控制信号ST2驱动至逻辑高电平，以导通重置开关TR2及传输开关TX2，从而重置浮动扩散节点FD及电荷存储元件SCE。
类似于图4A所示的积分阶段，发光模块120于图4B所示的积分阶段依序发送M个脉冲光波EL_1～EL_M于空间SPC，其中M为正整数。此M个脉冲光波EL_1～EL_M于空间SPC中经物体OB反射之后产生M个脉冲反射光RL_1～RL_M，其中脉冲反射光(例如RL_1)与其对应的脉冲光波(例如EL_1)之间具有时间延迟Td。
更进一步来说，于时间点T10至时间点T11之间，发光模块120发送第一个脉冲光波EL_1。此时，重置控制信号SR1为逻辑低电平而关断重置开关TR1，且传输控制信号ST1为逻辑高电平而导通传输开关TX1，致使像素单元PXU感测第一个脉冲反射光RL_1于此时段内(即时间点T10至时间点T11之间)的信号(下称第二部分信号)。详细来说，于时间点T10至时间点T11之间，光传感器PD基于第一个脉冲反射光RL_1的第二部分信号而被积分，并将所累积的电荷传输至电荷存储元件SCE。
接着，于时间点T11至时间点T12之间，第一个脉冲光波EL_1已发送完毕。此时，传输控制信号ST1为逻辑低电平而关断传输开关TX1，且重置控制信号SR1为逻辑高电平而导通重置开关TR1，致使光传感器PD为重置状态。
类似地，于时间点T12至时间点T13之间，发光模块120发送第二个脉冲光波EL_2。此时，重置控制信号SR1为逻辑低电平而关断重置开关TR1，且传输控制信号ST1为逻辑高电平而导通传输开关TX1，致使像素单元PXU感测第二个脉冲反射光RL_2于此时段内(即时间点T12至时间点T13之间)的信号(下称第二部分信号)。详细来说，于时间点T12至时间点T13之间，光传感器PD基于第二个脉冲反射光RL_2的第二部分信号而被积分，并将所累积的电荷传输至电荷存储元件SCE。
接着，于时间点T13至时间点T14之间，第二个脉冲光波EL_2已发送完毕。此时，传输控制信号ST1为逻辑低电平而关断传输开关TX1，且重置控制信号SR1为逻辑高电平而导通重置开关TR1，致使光传感器PD为重置状态。
依此类推，于时间点T16至时间点T17之间，发光模块120发送第M个脉冲光波EL_M。此时，重置控制信号SR1为逻辑低电平而关断重置开关TR1，且传输控制信号ST1为逻辑高电平而导通传输开关TX1，致使像素单元PXU感测第M个脉冲反射光RL_M于此时段内(即时间点T16至时间点T17之间)的信号(下称第二部分信号)。详细来说，于时间点T16至时间点T17之间，光传感器PD基于第M个脉冲反射光RL_M的第二部分信号而被积分，并将所累积的电荷传输至电荷存储元件SCE。
接着，于时间点T17至时间点T18之间，第M个脉冲光波EL_M已发送完毕。此时，传输控制信号ST1为逻辑低电平而关断传输开关TX1，且重置控制信号SR1为逻辑高电平而导通重置开关TR1，致使光传感器PD为重置状态。
在像素单元PXU完成上述第(4N+2)个画面的M次感测运作之后，可通过将传输控制信号ST2驱动至逻辑高电平，以导通传输开关TX2，从而将电荷存储元件SCE于积分阶段所存储的电荷传输至浮动扩散节点FD，并通过源极追随晶体管SF产生第一输出电压V12，其中第一输出电压V12是对应于反射光RL的第二部分信号。另外，读出电路144可根据第一输出电压V12产生对应的第一数字信息DI12。
请接着合并参照图1、图2、图3及图4C。于图4C，像素单元PXU执行第(4N+3)个画面的飞时测距感测运作，其中N为大于或等于零的整数。图4C所示的第(4N+3)个画面的飞时测距感测运作类似于图4A所示的第(4N+1)个画面的飞时测距感测运作，两者的差异仅在于：发光模块120于第(4N+3)个画面的感测运作中并不发送光波EL于空间SPC中，故而也不会产生反射光RL。因此，相较于像素单元PXU于第(4N+1)个画面的感测运作中感测反射光RL于一时段内的第一部分信号并据以产生对应的第一输出电压V11，像素单元PXU于第(4N+3)个画面的感测运作中则是感测空间SPC中的背景光(或称环境光)于同一时段内的第一部分信号，并据以产生对应于背景光的第一部分信号的第一输出电压V13。另外，读出电路144可根据第一输出电压V13产生对应的第一数字信息DI13。
请接着合并参照图1、图2、图3及图4D。于图4D，像素单元PXU执行第(4N+4)个画面的飞时测距感测运作，其中N为大于或等于零的整数。图4D所示的第(4N+4)个画面的飞时测距感测运作类似于图4B所示的第(4N+2)个画面的飞时测距感测运作，两者的差异仅在于：发光模块120于第(4N+4)个画面的感测运作中并不发送光波EL于空间SPC中，故而也不会产生反射光RL。因此，相较于像素单元PXU于第(4N+2)个画面的感测运作中感测反射光RL于一时段内的第二部分信号并据以产生对应的第一输出电压V12，像素单元PXU于第(4N+4)个画面的感测运作中则是感测空间SPC中的背景光于同一时段内的第二部分信号，并据以产生对应于背景光的第二部分信号的第一输出电压V14。另外，读出电路144可根据第一输出电压V14产生对应的第一数字信息DI14。
在读出电路144取得第一数字信息DI11～DI14之后，处理电路146于第一模式下可对像素单元PXU的第一数字信息DI11～DI14进行运算，以取得对应于像素单元PXU的数字像素值。更进一步来说，由于空间SPC中存在背景光，因此像素单元PXU在感测反射光RL的同时会感测到空间SPC中的背景光，导致第一数字信息DI11(DI12)包含了反射光RL的信息以及背景光的信息。由于背景光是一种噪声，因此处理电路146可将第一数字信息DI11减去第一数字信息DI13，以取得对应于实际的反射光RL的第一部分信号的数字信息DI1A。同样地，处理电路146可将第一数字信息DI12减去第一数字信息DI14，以取得对应于实际的反射光RL的第二部分信号的数字信息DI1B。另外，处理电路146于第一模式下可根据数字信息DI1A及数字信息DI1B来计算对应于像素单元PXU的数字像素值DPV，其中数字像素值DPV用以表示图像感测系统100与物体OB表面的其中一点之间的距离值。
详细来说，请参照图4E，图4E是依照本发明一实施例所示出的像素单元于第一模式下进行飞时测距感测运作的脉冲光波与脉冲反射光的时序示意图，其中脉冲光波EL_1与脉冲反射光RL_1的脉波宽度皆为T，且脉冲反射光RL_1与其对应的脉冲光波EL_1之间具有时间延迟Td。另外，光传感器PD于时间延迟Td中感测脉冲反射光RL_1所累积的电荷量QA是对应于数字信息DI1A，而光传感器PD于时段Tb中感测脉冲反射光RL_1所累积的电荷量QB是对应于数字信息DI1B。电荷量QA、QB以及时段Tb可分别如式(1)～式(3)所示，其中RLI表示脉冲反射光RL_1的光强度。
QA＝Td×RLI 式(1)
QB＝Tb×RLI 式(2)
T＝Tb+Td 式(3)
根据式(1)～式(3)，则可得到式(4)～式(6)。
QA+QB＝T×RLI 式(4)
RLI＝(QA+QB)÷T 式(5)
Td＝QA÷RLI 式(6)
将式(5)代入式(6)可得到式(7)。
Td＝QA÷RLI＝T×(QA÷(QA+QB)) 式(7)
另外，如图1所示，时间延迟Td是光波于图像感测系统100与物体OB表面的其中一点之间的往返时间，因此图像感测系统100与物体OB表面的其中一点之间的距离值DR可根据式(8)来决定，其中式(8)中的C表示光速。
DR＝C×(Td÷2)
＝C×T×(QA÷(QA+QB))÷2
＝C×T×(DI1A÷(DI1A+DI1B))÷2 式(8)
在本发明的一实施例中，为了提高多功能图像传感器140于第一模式(即飞时测距感测运作)的灵敏度，处理电路146可将像素阵列电路142划分为多个像素群，其中此些像素群中的每一者包括至少两个相邻的像素单元。处理电路146可将各像素群中的像素单元所对应的数字像素值相加，以产生并输出对应于此像素群的一合并后像素值。如此虽会降低多功能图像传感器140于第一模式下的解析度(导因于像素值合并)，但可有效提高其灵敏度。
图5A及图5B是依照本发明一实施例所示出的像素单元于第二模式下进行结构光感测运作的信号时序示意图，其中图5A及图5B所示出的重置控制信号SR1、SR2及传输控制信号ST1、ST2为图2所示的第二控制信号组TS2。请先合并参照图1、图2、图3及图5A。于图5A，像素单元PXU执行第(2N+1)个画面的结构光感测运作，其中N为大于或等于零的整数。首先，发光模块120于时间点T20开始发送光波EL于空间SPC中，且光波EL于空间SPC中经物体OB反射之后产生反射光RL。
在图5A所示的重置阶段，可通过将重置控制信号SR1驱动至逻辑高电平，以导通重置开关TR1，从而重置光传感器PD。此外，可通过将重置控制信号SR2及传输控制信号ST2驱动至逻辑高电平，以导通重置开关TR2及传输开关TX2，从而重置浮动扩散节点FD及电荷存储元件SCE。
接着，像素单元PXU于时间点T27进入积分阶段。此时，重置控制信号SR1、SR2以及传输控制信号ST1、ST2皆为逻辑低电平，致使重置开关TR1、TR2以及传输开关TX1、TX2为关断状态，并让像素单元PXU感测反射光RL。详细来说，于积分阶段，光传感器PD基于反射光RL而被积分。
于时间点T28，传输控制信号ST1切换至逻辑高电平以导通传输开关TX1，致使光传感器PD所累积的电荷传输至电荷存储元件SCE。之后，于时间点T29，发光模块120停止发送光波EL，且传输控制信号ST1切换至逻辑低电平而关断传输开关TX1。
在像素单元PXU完成上述第(2N+1)个画面的感测运作之后，可通过将传输控制信号ST2驱动至逻辑高电平，以导通传输开关TX2，从而将电荷存储元件SCE于积分阶段所存储的电荷传输至浮动扩散节点FD，并通过源极追随晶体管SF产生对应于反射光RL的第二输出电压V21。另外，读出电路144可根据第二输出电压V21产生对应的第二数字信息DI21。
请接着合并参照图1、图2、图3及图5B。于图5B，像素单元PXU执行第(2N+2)个画面的结构光感测运作，其中N为大于或等于零的整数。图5B所示的第(2N+2)个画面的结构光感测运作类似于图5A所示的第(2N+1)个画面的结构光感测运作，两者的差异仅在于：发光模块120于第(2N+2)个画面的感测运作中并不发送光波EL于空间SPC中，故而也不会产生反射光RL。因此，相较于像素单元PXU于第(2N+1)个画面的感测运作中感测反射光RL并据以产生对应的第二输出电压V21，像素单元PXU于第(2N+2)个画面的感测运作中则是感测空间SPC中的背景光(或称环境光)，并据以产生对应于背景光的第二输出电压V22。另外，读出电路144可根据第二输出电压V22产生对应的第二数字信息DI22。
在读出电路144取得第二数字信息DI21、DI22之后，处理电路146于第二模式下可对像素单元PXU的第二数字信息DI21、DI22进行运算，以取得对应于像素单元PXU的数字像素值。更进一步来说，由于空间SPC中存在背景光，因此像素单元PXU在感测反射光RL的同时会感测到空间SPC中的背景光，导致第二数字信息DI21包含了反射光RL的信息以及背景光的信息。由于背景光是一种噪声，因此处理电路146可将第二数字信息DI21减去第二数字信息DI22，以取得实际的数字像素值。
综上所述，在本发明实施例所提出的图像感测系统及其多功能图像传感器中，像素阵列电路可根据不同的控制信号组(即第一控制信号组及第二控制信号组)执行飞时测距感测运作或是结构光感测运作。因此，本发明实施例所提出的多功能图像传感器不仅通用于飞时测距感测系统以及结构光感测系统，且可依据实际应用而动态地在飞时测距感测运作与结构光感测运作之间进行切换，大大地提高图像感测系统及其多功能图像传感器的应用范围及使用上的弹性。
虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的精神和范围内，当可作些许的更改与润饰，故本发明的保护范围当视权利要求所界定的为准。

Claims (14)

1.一种图像感测系统，其特征在于，包括：
发光模块，用以发送光波于空间中；以及
多功能图像传感器，用以感测所述光波于所述空间中反射后的反射光，其中所述多功能图像传感器包括：
像素阵列电路，包括多个像素单元，其中所述多个像素单元中的每一者于第一模式下受控于第一控制信号组以对所述反射光进行飞时测距感测运作，并据以依序产生多个第一输出电压，且所述多个像素单元中的每一者于第二模式下受控于第二控制信号组以对所述反射光进行结构光感测运作，并据以依序产生多个第二输出电压；以及
读出电路，耦接所述像素阵列电路，用以于所述第一模式下根据所述多个像素单元中的每一者所产生的所述多个第一输出电压分别取得对应于所述飞时测距感测运作的多个第一数字信息，且用以于所述第二模式下根据所述多个像素单元中的每一者所产生的所述多个第二输出电压分别取得对应于所述结构光感测运作的多个第二数字信息。
2.根据权利要求1所述的图像感测系统，其特征在于，在所述第一模式下：
所述发光模块于第(4N+1)个画面及第(4N+2)个画面的感测运作中发送所述光波于所述空间中；以及
所述多个像素单元中的每一者于所述第(4N+1)个画面的感测运作中感测所述反射光于第一时段内的第一部分信号，并据以产生对应于所述反射光的所述第一部分信号的所述第一输出电压，且所述多个像素单元中的每一者于所述第(4N+2)个画面的感测运作中感测所述反射光于第二时段内的第二部分信号，并据以产生对应于所述反射光的所述第二部分信号的所述第一输出电压，其中N为大于或等于零的整数。
3.根据权利要求2所述的图像感测系统，其特征在于，在所述第一模式下：
所述发光模块于第(4N+3)个画面及第(4N+4)个画面的感测运作中不发送所述光波于所述空间中；以及
所述多个像素单元中的每一者于所述第(4N+3)个画面的感测运作中感测所述空间中的背景光于所述第一时段内的第一部分信号，并据以产生对应于所述背景光的所述第一部分信号的所述第一输出电压，且所述多个像素单元中的每一者于所述第(4N+4)个画面的感测运作中感测所述背景光于所述第二时段内的第二部分信号，并据以产生对应于所述背景光的所述第二部分信号的所述第一输出电压。
4.根据权利要求3所述的图像感测系统，其特征在于，所述多功能图像传感器还包括：
处理电路，耦接所述读出电路，用以于所述第一模式下对所述多个像素单元中的每一者的所述多个第一数字信息进行运算，以取得对应于所述像素单元的数字像素值，其中所述多个第一数字信息分别对应于所述第(4N+1)个画面至所述第(4N+4)个画面。
5.根据权利要求4所述的图像感测系统，其特征在于，在所述第一模式下：
所述像素阵列电路被划分为多个像素群，且所述多个像素群中的每一者包括至少两个相邻的像素单元，
其中所述处理电路于所述第一模式下将各所述像素群中的所述至少两个相邻的像素单元所对应的所述数字像素值相加，以产生并输出对应于所述像素群的合并后像素值。
6.根据权利要求1所述的图像感测系统，其特征在于，在所述第二模式下：
所述发光模块于第(2N+1)个画面的感测运作中发送所述光波于所述空间中，且所述多个像素单元中的每一者于所述第(2N+1)个画面的感测运作中感测所述反射光，并据以产生对应于所述反射光的所述第二输出电压；以及
所述发光模块于第(2N+2)个画面的感测运作中不发送所述光波于所述空间中，且所述多个像素单元中的每一者于所述第(2N+2)个画面的感测运作中感测所述空间中的背景光，并据以产生对应于所述背景光的所述第二输出电压，其中N为大于或等于零的整数。
7.根据权利要求6所述的图像感测系统，其特征在于，所述多功能图像传感器还包括：
处理电路，耦接所述读出电路，用以于所述第二模式下对所述多个像素单元中的每一者的所述多个第二数字信息进行运算，以取得对应于所述像素单元的数字像素值，其中所述多个第二数字信息分别对应于所述第(2N+1)个画面与所述第(2N+2)个画面。
8.一种多功能图像传感器，用于感测光波于空间中反射后的反射光，其特征在于，所述多功能图像传感器包括：
像素阵列电路，包括多个像素单元，其中所述多个像素单元中的每一者于第一模式下受控于第一控制信号组以对所述反射光进行飞时测距感测运作，并据以依序产生多个第一输出电压，且所述多个像素单元中的每一者于第二模式下受控于第二控制信号组以对所述反射光进行结构光感测运作，并据以依序产生多个第二输出电压；以及
读出电路，耦接所述像素阵列电路，用以于所述第一模式下根据所述多个像素单元中的每一者所产生的所述多个第一输出电压分别取得对应于所述飞时测距感测运作的多个第一数字信息，且用以于所述第二模式下根据所述多个像素单元中的每一者所产生的所述多个第二输出电压分别取得对应于所述结构光感测运作的多个第二数字信息。
9.根据权利要求8所述的多功能图像传感器，其特征在于，在所述第一模式下：
所述多个像素单元中的每一者于第(4N+1)个画面的感测运作中感测所述反射光于第一时段内的第一部分信号，并据以产生对应于所述反射光的所述第一部分信号的所述第一输出电压，且所述多个像素单元中的每一者于第(4N+2)个画面的感测运作中感测所述反射光于第二时段内的第二部分信号，并据以产生对应于所述反射光的所述第二部分信号的所述第一输出电压，其中N为大于或等于零的整数。
10.根据权利要求9所述的多功能图像传感器，其特征在于，在所述第一模式下：
所述多个像素单元中的每一者于第(4N+3)个画面的感测运作中感测所述空间中的背景光于所述第一时段内的第一部分信号，并据以产生对应于所述背景光的所述第一部分信号的所述第一输出电压，且所述多个像素单元中的每一者于第(4N+4)个画面的感测运作中感测所述背景光于所述第二时段内的第二部分信号，并据以产生对应于所述背景光的所述第二部分信号的所述第一输出电压。
11.根据权利要求10所述的多功能图像传感器，其特征在于，还包括：
处理电路，耦接所述读出电路，用以于所述第一模式下对所述多个像素单元中的每一者的所述多个第一数字信息进行运算，以取得对应于所述像素单元的数字像素值，其中所述多个第一数字信息分别对应于所述第(4N+1)个画面至所述第(4N+4)个画面。
12.根据权利要求11所述的多功能图像传感器，其特征在于，在所述第一模式下：
所述像素阵列电路被划分为多个像素群，且所述多个像素群中的每一者包括至少两个相邻的像素单元，
其中所述处理电路于所述第一模式下将各所述像素群中的所述至少两个相邻的像素单元所对应的所述数字像素值相加，以产生并输出对应于所述像素群的合并后像素值。
13.根据权利要求8所述的多功能图像传感器，其特征在于，在所述第二模式下：
所述多个像素单元中的每一者于第(2N+1)个画面的感测运作中感测所述反射光，并据以产生对应于所述反射光的所述第二输出电压，且所述多个像素单元中的每一者于第(2N+2)个画面的感测运作中感测所述空间中的背景光，并据以产生对应于所述背景光的所述第二输出电压，其中N为大于或等于零的整数。
14.根据权利要求13所述的多功能图像传感器，其特征在于，还包括：
处理电路，耦接所述读出电路，用以于所述第二模式下对所述多个像素单元中的每一者的所述多个第二数字信息进行运算，以取得对应于所述像素单元的数字像素值，其中所述多个第二数字信息分别对应于所述第(2N+1)个画面与所述第(2N+2)个画面。
CN201910145103.XA 2018-05-29 2019-02-27 图像感测系统及其多功能图像传感器 Active CN110611755B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862677626P 2018-05-29 2018-05-29
US62/677,626 2018-05-29

Publications (2)

Publication Number Publication Date
CN110611755A true CN110611755A (zh) 2019-12-24
CN110611755B CN110611755B (zh) 2020-12-01

Family

ID=68694303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910145103.XA Active CN110611755B (zh) 2018-05-29 2019-02-27 图像感测系统及其多功能图像传感器

Country Status (3)

Country Link
US (1) US10930686B2 (zh)
CN (1) CN110611755B (zh)
TW (3) TWI734079B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014122714A1 (ja) * 2013-02-07 2014-08-14 パナソニック株式会社 撮像装置及びその駆動方法
CN105554369A (zh) * 2014-10-23 2016-05-04 三星电子株式会社 用于处理图像的电子设备和方法
JP2017133930A (ja) * 2016-01-27 2017-08-03 倉敷紡績株式会社 距離画像生成装置および方法
US20170230638A1 (en) * 2015-02-26 2017-08-10 Dual Aperture International Co. Ltd. Depth Measurement Techniques for a Multi-Aperture Imaging System
CN107783353A (zh) * 2016-08-26 2018-03-09 光宝电子(广州)有限公司 用于捕捉立体影像的装置及系统
CN107968910A (zh) * 2017-12-26 2018-04-27 广东欧珀移动通信有限公司 电子装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM281174U (en) * 2005-05-27 2005-11-21 China Inst Technology Polarized light absorptive biochemical optoelectronic inspecting system
US8865078B2 (en) * 2010-06-11 2014-10-21 Industrial Technology Research Institute Apparatus for single-molecule detection
US8970827B2 (en) * 2012-09-24 2015-03-03 Alces Technology, Inc. Structured light and time of flight depth capture with a MEMS ribbon linear array spatial light modulator
KR102112298B1 (ko) * 2013-09-30 2020-05-18 삼성전자주식회사 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치
CN105006478B (zh) * 2014-04-25 2018-01-30 Pgi股份有限公司 光学传感器
US9936151B2 (en) * 2015-10-16 2018-04-03 Capsovision Inc Single image sensor for capturing mixed structured-light images and regular images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014122714A1 (ja) * 2013-02-07 2014-08-14 パナソニック株式会社 撮像装置及びその駆動方法
CN105554369A (zh) * 2014-10-23 2016-05-04 三星电子株式会社 用于处理图像的电子设备和方法
US20170230638A1 (en) * 2015-02-26 2017-08-10 Dual Aperture International Co. Ltd. Depth Measurement Techniques for a Multi-Aperture Imaging System
JP2017133930A (ja) * 2016-01-27 2017-08-03 倉敷紡績株式会社 距離画像生成装置および方法
CN107783353A (zh) * 2016-08-26 2018-03-09 光宝电子(广州)有限公司 用于捕捉立体影像的装置及系统
CN107968910A (zh) * 2017-12-26 2018-04-27 广东欧珀移动通信有限公司 电子装置

Also Published As

Publication number Publication date
US20190371842A1 (en) 2019-12-05
TW202004232A (zh) 2020-01-16
TWI734079B (zh) 2021-07-21
TW202005359A (zh) 2020-01-16
TWI701472B (zh) 2020-08-11
CN110611755B (zh) 2020-12-01
TW202004164A (zh) 2020-01-16
US10930686B2 (en) 2021-02-23

Similar Documents

Publication Publication Date Title
TWI544232B (zh) 用於飛行時間成像系統之校準電路與方法
EP2803184B1 (en) Method of operating a time-of-flight pixel
CN107300705B (zh) 基于载波调制的激光雷达测距系统及测距方法
KR101715141B1 (ko) 깊이 센서의 픽셀 및 상기 픽셀을 포함하는 이미지 센서
JP7016183B2 (ja) 距離画像撮像装置、および距離画像撮像方法
US20140253758A1 (en) Method and Apparatus for a Time-of-Flight Sensor with Charge Storage
CN108282626B (zh) Tof图像传感器像素结构及tof成像系统
CN103581645A (zh) 深度感测设备和方法
CN108322678B (zh) 支持全局曝光的tof图像传感器像素结构及tof成像系统
CN114175618A (zh) 距离图像摄像装置以及距离图像摄像方法
CN111556260A (zh) 图像传感器
US20220003876A1 (en) Distance image obtaining method and distance detection device
JP2020148682A (ja) 距離測定装置及びスキュー補正方法
Park et al. A 64× 64 SPAD-based indirect time-of-flight image sensor with 2-tap analog pulse counters
CN111108411B (zh) 光传感器、基于飞行时间的测距系统和电子装置
CN110611755B (zh) 图像感测系统及其多功能图像传感器
US20230204735A1 (en) Detection apparatus and method
CN212031730U (zh) 光传感器、基于飞行时间的测距系统和电子装置
CN111726548B (zh) 图像传感器的像素和图像传感器
US11463635B2 (en) Image sensing device and operating method thereof
US20240004037A1 (en) Distance measuring device and solid-state imaging device
US11550060B2 (en) Imaging portion, time-of-flight device and method
US11849229B2 (en) Image capturing apparatus having photon detection and control method therefor
US20230184940A1 (en) Measurement unit, and measurement apparatus and method
CN113852771A (zh) 一种图像传感器和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant