CN108291961A - 固体摄像装置、距离测定装置及距离测定方法 - Google Patents

固体摄像装置、距离测定装置及距离测定方法 Download PDF

Info

Publication number
CN108291961A
CN108291961A CN201680065681.7A CN201680065681A CN108291961A CN 108291961 A CN108291961 A CN 108291961A CN 201680065681 A CN201680065681 A CN 201680065681A CN 108291961 A CN108291961 A CN 108291961A
Authority
CN
China
Prior art keywords
mentioned
light
during
solid
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680065681.7A
Other languages
English (en)
Other versions
CN108291961B (zh
Inventor
石井基范
香山信三
竹本征人
斋藤繁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN108291961A publication Critical patent/CN108291961A/zh
Application granted granted Critical
Publication of CN108291961B publication Critical patent/CN108291961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616—Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

在固体摄像装置(10)中，多个像素(100)分别具备：受光电路(101)，具有进行光电变换的受光元件(105)，通过曝光信号设定在受光元件(105)中进行光电变换的光电时间，输出与在光电时间内到达像素(100)的入射光的有无对应的受光信号；计数器电路(102)，基于从受光电路(101)输入的受光信号，将入射光的到达次数作为计数值计数；比较电路(103)，将与计数值对应的值设定为阈值，在计数值相对于阈值大的情况下将比较信号设为开启状态；以及存储电路(104)，被输入比较信号和时间信号，当比较信号为开启状态时，将时间信号作为距离信号存储。

Description

固体摄像装置、距离测定装置及距离测定方法
技术领域
本申请涉及固体摄像装置、距离测定装置及距离测定方法。
背景技术
以往，关于固体摄像装置，着力于将图像高灵敏度、高精细地摄像，但近年来还出现了除此以外还同时拥有还能够取得距固体摄像装置的距离信息的固体摄像装置。如果对图像添加距离信息，则能够感知固体摄像装置的摄影对象的三维的信息。例如，如果将人物进行摄影，则能够三维地检测动作(姿势)，所以能够作为各种各样的设备的输入装置来使用。进一步例示的话，如果搭载到汽车上，则能够识别与存在于本车的周围的物体·人物的距离，所以能够应用于防碰撞及自动驾驶等。
在用于从固体摄像装置到物体的距离测定的多种方法之中，有测定从将光从固体摄像装置附近朝向物体照射起到由物体反射而返回到固体摄像装置的时间的TOF(Time OfFlight)法。与复眼方式等的其他方法相比，有除了固体摄像装置以外还需要光源的缺点。另一方面，有如果使光源变强则能够以高分辨率测定到远方的物体的距离的优点。作为对固体摄像装置应用TOF法而得到三维的信息的方法，例如有在专利文献1中揭示的技术。
现有技术文献
专利文献
专利文献1：日本特开2004－294420号公报
发明内容
发明要解决的课题
图14是专利文献1所公开的固体摄像装置，图15是其驱动次序。在驱动次序图15中，投射光是拥有某周期的脉冲形状。接收光(由物体反射的光脉冲)相对于投射光(从光源发射的光脉冲)以与到物体的距离对应的延迟时间Td到达固体摄像装置。与向受光元件即光电二极管(PD)入射的接收光对应地生成的电荷，对应于2个传输门晶体管TX1、TX2的驱动而被分配给2个节点，生成信号A、B。然后，在将投射光设为OFF的状态下，通过同样的驱动得到信号C、D。信号A、B包含有背景光的成分，但通过减去信号C、D而计算信号(A－C)、信号(B－D)，能得到仅包含接收光成分的信号。此时，由于信号(A－C)与信号(B－D)的比由延迟时间Td决定，所以能够得到距离信息。
投射光是脉冲，信号(A－C)与信号(B－D)的比表示脉冲的相位，所以将该方法称作脉冲相位法。发明者们注意到，脉冲相位法在背景光比较弱的室内应用于比较近距离(几m左右)的情况下较好，但存在当应用于背景光较强的野外或远距离的情况下成为问题的以下的缺点。
第一个缺点，是动态范围小。换言之，可测定的距离的范围小。接收光的强度与到物体的距离的平方成比例。例如，来自距离1m的物体的接收光和与其相同的物体且距离100m的情况下的接收光的强度比为10000:1。但是，固体摄像装置的单一像素的饱和电子数通常是10000左右，所以在设定为能够检测距离100m的光学条件的情况下，来自距离1m的物体的接收光会饱和，脉冲的相位信息丢失。在背景光强的情况下更容易饱和。
第二个缺点，是对于强的背景光的耐受性低。以下说明如下，驱动次序图15中的投射光的脉冲宽度To根据距离测定范围而被决定。例如，如果是距离测定范围为100m的情况，则To需要667纳秒，不能使其变小。另一方面，基于背景光的信号C、D与To成比例地增加，其噪声即光散粒噪声与信号C、D的平方根成比例。在信号C、D分别相对于信号A、B几乎相等的情况下，上述光散粒噪声变得极大，不能以充分的精度测定距离。
鉴于上述课题，本申请的目的是提供一种可测定距离范围宽、在强的背景光的环境下也能够进行距离测定的固体摄像装置、距离测定装置及距离测定方法。
用来解决课题的手段
为了解决上述课题，有关本申请的一技术方案的固体摄像装置，以二维状排列有多个像素，上述多个像素分别具备：受光电路，具有进行将接受到的光变换为电信号的光电变换的受光元件，根据曝光信号来设定在上述受光元件中进行光电变换的光电时间，输出与在上述光电时间内到达上述像素的入射光的有无对应的受光信号；计数器电路，基于从上述受光电路输入的上述受光信号，将上述入射光的到达次数作为计数值进行计数；比较电路，将与上述计数值对应的值设定为阈值，在上述计数值相对于上述阈值大的情况下将比较信号设为开启状态；以及存储电路，被输入上述比较信号和相对于时间而变化的时间信号，在上述比较信号为开启状态时将上述时间信号作为距离信号进行存储。
由此，能够由固体摄像装置取得距离信息，并且能够进行可测定距离范围宽的距离测定。
此外，也可以是，上述固体摄像装置是根据来自光源的脉冲光返回的时间来测定距离、并在1帧期间内输出表示到对象物的距离的距离图像的固体摄像装置；上述1帧期间中包括背景光检测期间、距离测定期间及距离信号输出期间；在上述背景光检测期间，设定上述阈值；上述距离测定期间被划分为N个期间(N是1以上的整数)；在上述背景光检测期间、上述距离测定期间及上述距离信号输出期间的各期间，相对于来自上述光源的光脉冲的发射时刻延迟规定的时间而设定上述曝光信号；在上述距离测定期间的上述N个期间的各自中，将上述阈值与上述计数值进行比较，在上述计数值比上述阈值大的期间，将上述时间信号作为距离信号进行存储；在上述距离信号输出期间，将上述距离信号作为上述距离图像进行输出。
由此，在强的背景光的环境下，也能够高精度地进行距离测定。
此外，也可以是，上述受光电路具有输送通过光电变换产生的电荷的传输门晶体管；上述传输门晶体管连接在上述受光元件与上述计数器电路之间。
此外，也可以是，上述受光电路具有多组将上述受光元件与上述传输门晶体管串联连接的组。
由此，在受光电路中，能够增加用于受光的受光元件的总面积，所以能够进一步提高对于距离的灵敏度。
此外，也可以是，上述受光电路还与亮度图像用放大晶体管连接；上述亮度图像用放大晶体管还与亮度图像用选择晶体管连接；上述固体摄像装置经由上述计数器电路、上述比较电路及上述存储电路得到基于上述受光信号的上述距离信号，由此得到距离图像；上述固体摄像装置经由亮度图像用放大晶体管和上述亮度图像用选择晶体管得到上述受光信号，由此得到对象物的亮度图像。
由此，能够同时得到距离图像和亮度图像。
此外，也可以是，上述受光电路具有多组将上述受光元件与上述传输门晶体管串联连接的组；上述多组中的各上述传输门晶体管连接于上述计数器电路；上述固体摄像装置在1帧期间内输出上述亮度图像和上述距离图像双方；上述1帧期间内包含有背景光检测期间、距离测定期间、距离信号输出期间及亮度图像摄影·输出期间；在上述背景光检测期间、上述距离测定期间及上述距离信号输出期间，多个上述传输门晶体管同时动作；在上述亮度图像摄影·输出期间，上述多个传输门晶体管分开动作。
由此，能够分别高精度地得到距离图像和亮度图像。
此外，上述受光元件也可以是雪崩·光电二极管。
由此，接收光不再会被噪声填埋，能够得到高的SN比的距离信号。
此外，也可以是，上述受光电路包括受光元件信号放大用变换器和受光信号开关。
由此，能够将由受光元件生成的电荷放大为振幅大的受光信号，使之成为2值信号。
此外，也可以是，上述多个像素还具备具有可视光透射滤波器的第2像素群。
由此，通过在第2像素群中使用与R、B、G对应的受光元件而得到亮度图像，能够构成彩色图像。此外，通过作为光源而使用红外线、在第1像素群中使用与红外光对应的受光元件，能够得到距离图像。
此外，为了解决上述课题，有关本申请的一技术方案的距离测定装置具备：具有上述特征的固体摄像装置；光源；以及信号处理装置，与上述光源的控制同步地控制上述固体摄像装置；由上述固体摄像装置接受从上述光源照射的光在对象物上反射的反射光，根据来自上述光源的光脉冲的发射时刻和在上述固体摄像装置中接受了上述反射光的时刻，由上述信号处理装置输出从上述光源到上述对象物的距离图像。
由此，能够进行可测定距离范围宽的距离测定。此外，在强的背景光的环境下也能够高精度地进行距离测定。
此外，也可以是，上述第2像素群的各像素具备：可视光用受光元件；传输门晶体管，连接于上述可视光用受光元件；复位晶体管，连接于上述传输门晶体管；以及放大晶体管，连接于上述传输门晶体管。
由此，在红外光的位置处使用第2像素群中的可视光用受光元件的情况下，还能够得到使用IR光的亮度图像。
此外，也可以是，在上述第2像素群中，相邻的至少2个像素分别具备：可视光用受光元件；和传输门晶体管，连接于上述可视光用受光元件；上述至少2个像素具备与上述各传输门晶体管连接的共通的复位晶体管及共通的放大晶体管。
由此，在第2像素群中，相邻的至少2个像素具备与传输门晶体管连接的共通的复位晶体管及共通的放大晶体管。因而，能够减小复位晶体管及放大晶体管的面积而增大第2像素群的面积，所以能够提高距离图像的精度。
此外，为了解决上述课题，有关本申请的一技术方案的距离测定方法，根据来自光源的脉冲光在对象物上反射而返回的时间来测定距离，并在1帧期间内输出距离图像；上述1帧期间中包括背景光检测期间、距离测定期间及距离信号输出期间；在上述背景光检测期间，设定阈值；上述距离测定期间被划分为N个期间(N是1以上的整数)；在上述背景光检测期间、上述距离测定期间及上述距离信号输出期间的各期间，相对于来自上述光源的光脉冲的发射时刻延迟规定的时间而设定曝光信号；在上述距离测定期间的上述N个期间的各自中，将上述阈值与计数值进行比较，在上述计数值比上述阈值大的期间，将相对于时间而变化的时间信号作为距离信号进行存储；在上述距离信号输出期间，将上述距离信号作为上述距离图像进行输出。
由此，能够由固体摄像装置取得距离信息，并且能够进行可测定距离范围宽的距离测定。此外，在强的背景光的环境下也能够高精度地进行距离测定。
此外，也可以是，在上述1帧期间内，还包含得到上述对象物的亮度图像的亮度图像摄影·输出期间；在上述亮度图像摄影·输出期间，将从上述对象物得到的上述受光信号作为上述亮度图像进行输出。
由此，能够同时得到距离图像和亮度图像。
发明效果
根据本申请，能够提供一种可测定距离范围宽、在强的背景光的环境下也能够进行距离测定的固体摄像装置、距离测定装置及距离测定方法。
附图说明
图1是表示有关实施方式1的固体摄像装置的结构的概略图。
图2是表示搭载在有关实施方式1的固体摄像装置中的像素的结构的框图。
图3是表示搭载在有关实施方式1的固体摄像装置中的像素的结构的电路图。
图4是表示在有关实施方式1的固体摄像装置的1帧期间中包含的动作期间的图。
图5是用来对有关实施方式1的固体摄像装置的背景光检测期间的动作次序进行说明的图。
图6是用来对有关实施方式1的固体摄像装置的距离测定期间的动作次序进行说明的图。
图7是用来对有关实施方式2的固体摄像装置的背景光检测期间的动作次序进行说明的图。
图8是用来对有关实施方式2的固体摄像装置的距离测定期间的动作次序进行说明的图。
图9是表示搭载在有关实施方式3的固体摄像装置中的像素的结构的图。
图10A是表示搭载在有关实施方式4的固体摄像装置中的像素的结构的图。
图10B是表示搭载在有关实施方式4的固体摄像装置中的像素的结构的图。
图11是表示有关实施方式4的固体摄像装置的结构的概略图。
图12是表示在有关实施方式4的固体摄像装置的1帧期间中包含的动作期间的图。
图13是表示搭载在有关实施方式6的固体摄像装置中的像素的结构的图。
图14是表示有关以往技术的距离图像传感器的像素构造的图。
图15是表示有关以往技术的距离图像传感器的动作定时的图。
图16是说明搭载在有关实施方式7的固体摄像装置中的像素区域的排列的图。
图17是说明搭载在有关实施方式8的固体摄像装置中的像素区域的排列的图。
图18是表示有关实施方式8的可视光像素电路的结构的电路图。
图19是说明搭载在有关实施方式9的固体摄像装置中的像素区域的排列的图。
图20是表示有关实施方式9的可视光像素电路的结构的电路图。
具体实施方式
以下，参照附图对有关本申请的实施方式进行说明。另外，对于实质上相同的结构赋予相同的标号，有将说明省略的情况。此外，以下说明的实施方式都表示一具体例。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，不是限定本发明的意思。此外，关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素，设为任意的构成要素进行说明。
(实施方式1)
[1.固体摄像装置的结构]
首先，对有关本实施方式的距离测定装置1及固体摄像装置10的结构进行说明。图1是表示包括有关本实施方式的固体摄像装置的距离测定装置的结构的概略图。
如图1所示，距离测定装置1具备固体摄像装置10、信号处理装置20、计算机30和光源40。
固体摄像装置10还为以下这样的结构，但并不限于此。
如图1所示，固体摄像装置10具备像素区域12、垂直移位寄存器13、像素驱动电路14、CDS(Correllated Double Sampling，相关双采样)电路15、水平移位寄存器16和输出电路17。
像素区域12如图2所示，以二维状排列有像素100。
垂直移位寄存器13选择像素区域12内的某特定的行的像素100。该功能主要用于从某特定的像素100起依次输出距离信号。
像素驱动电路14用于针对图2所示的像素100，将全部像素同时进行控制。
CDS电路15是用来将来自图2所示的像素100的输出中包含的、在各像素100中不同的偏移成分除去的电路。
水平移位寄存器16是用来将来自像素100的输出在列方向上依次选择的电路。
输出电路17将来自由垂直移位寄存器13及水平移位寄存器16选择的像素的距离信号根据需要而放大并输出。在该固体摄像装置10中，搭载有4个输出电路17，但也可以不是4个，即也可以是输出电路17的数量为3个以下或5个以上的固体摄像装置。
信号处理装置20如图1所示，具备模拟前端21和逻辑·存储器22。
模拟前端21将来自固体摄像装置10的模拟输出信号变换为数字输出信号，如果需要则替换输出信号的顺序而向逻辑·存储器22输出。在来自固体摄像装置10的输出信号假如是数字输出信号的情况下，不需要将模拟输出信号变换为数字输出信号的功能，但需要将输出信号的顺序替换的功能。来自信号处理装置20的输出信号(距离信号)被向计算机30输出。
计算机30例如是电脑(computer)，基于来自信号处理装置20的输出信号(距离信号)，构成固体摄像装置10的周围的三维信息。
光源40向想要得到三维信息的部位投射光。光源40中，内置有通过根据需要将光扩散而向想要得到三维信息的整体部位照射光的机构。从光源40输出在时间方向上为脉冲状的光(脉冲光)。脉冲光的输出时刻及宽度由信号处理装置20控制。此外，信号处理装置20与光源40的控制同步地控制固体摄像装置10。固体摄像装置10按照来自信号处理装置20的信号，经由像素驱动电路14等控制搭载的像素100。
图2是表示搭载在有关本实施方式的固体摄像装置10中的像素100的结构的框图。图3是表示搭载在有关本实施方式的固体摄像装置10中的像素100的结构的电路图。另外，关于以下说明的各种信号，“开启(ON)”是指高电平的电压值的信号，“关闭(OFF)”是指低电平的电压值的信号。此外，“设为开启”是指施加高电平的电压值的信号，“关闭”是指施加低电平的电压值的信号。
在图2所示的像素100内，内置有受光电路101、计数器电路102、比较电路103、存储电路104这4个块。以下，说明各块的结构及功能。使各块拥有这里说明的功能的结构可以考虑某种程度的变形，该情况也当然与本申请是同等的。
受光电路101如图3所示，具有受光元件105、传输门晶体管106和复位晶体管107。受光元件105和传输门晶体管106串联连接，各1个受光元件105和传输门晶体管106成为组。传输门晶体管106连接在受光元件105与计数器电路102之间。
受光元件105例如是光电二极管。传输门晶体管106将在受光元件105中通过光电变换产生的电荷进行输送。因此，受光电路101内置有接受入射光而变换为受光信号的功能。受光信号也可以对应于入射光的强弱而变化，但优选的是根据入射光的到达的有无而成为2值。以下，在2值的前提下进行说明，但即使不是2值，像素100也动作。在不是2值的情况下，假设根据相对于在电路上设定的阈值的大小而成为2值。进而，根据作为输入信号的曝光信号，能够任意地设定进行光电变换的时间。此外，也可以附加接受复位信号并将受光信号复位的功能。将受光的情况下的受光信号称作“有受光信号”，将没有受光的情况称作“没有受光信号”。在未附加有复位功能的情况下，附加有在输出受光信号的同时或在充分短的时间内将电信号复位的功能。
图2所示的像素100还具备连接在受光电路101的输出上的计数器电路102。
计数器电路102如图3所示，具有电荷积蓄电容器108、计数器晶体管109和计数器电容110。经由计数器电容110将输出许可信号130进行输出。计数器电路102附加有将计数值保持、增加、复位的功能。计数器电路102根据复位信号而进行计数值的复位。此外，计数器电路102在作为输入的计数信号为开启的期间，检测受光信号。在检测到受光信号的情况下，计数器电路102使计数值增加1个。即，计数器电路102将受光信号到达受光电路101的到达次数计数。
图2所示的像素100还具备连接在计数器电路102的输出上的比较电路103。
比较电路103如图3所示，具有直流截止电容器111、钳位晶体管112和变换器(inverter)113。比较电路103中搭载有将对于计数器电路102计数的次数值的阈值任意地设定、保持的功能。当作为输入的阈值设定信号为开启时，设定与作为输入的计数值对应的阈值。还附加有当阈值设定信号为关闭时、在计数值相对于所设定的阈值大的情况下使比较信号成为开启的功能。此外，比较电路103也可以被输入输出许可信号。在此情况下，仅在输出许可信号为开启的情况下，将比较信号设为开启。关于输出许可信号，在实施方式2中进行说明。
图2所示的像素100还具备存储电路104。
存储电路104如图3所示，具有输入晶体管114、存储电容器115和存储节点复位晶体管116。存储电路104的输入是2个，1个中被输入比较信号。另1个中被输入相对于时间而变化的信号即时间信号。在存储电路104中，内置有在比较信号为开启时将该定时下的时间信号的值进行存储的功能。进而，存储电路104中当然还附加有输出所存储的时间信号(将其设为距离信号)的功能。
进而，如图3所示，存储电路104上连接着放大晶体管117和选择晶体管118。
图2所示的像素100以排列为二维状的形式被内置在固体摄像装置10内。包括固体摄像装置10的距离测定装置1为上述图1那样的结构，但并不限于此。
[2.固体摄像装置的动作]
接着，对有关本实施方式的固体摄像装置10的动作进行说明。图4是表示在固体摄像装置10的1帧期间中包含的动作期间的图。
如图4所示，1帧期间被划分为背景光检测期间、距离测定期间及距离信号输出期间。固体摄像装置10进行将背景光检测期间、距离测定期间及距离信号输出期间以该顺序反复的动作。
图5是用来对有关本实施方式的固体摄像装置10的背景光检测期间的动作次序进行说明的图。图6是用来对有关本实施方式的固体摄像装置10的距离测定期间的动作次序进行说明的图。
如图5所示，在背景光检测期间，首先，在固体摄像装置10中，使光源40的输出保持关闭的状态。在此状态下，由图2所示的像素100内的受光电路101检测入射光。此时，对于受光电路101而言，由摄影对象的物体(对象物)将存在于周围的环境下的背景光(典型地，在白天的室外的情况下是太阳光)反射的光入射到受光电路101。通过与受光电路101一同设置的电路，将进行光电变换的时间(曝光时间)设定为a秒，接受该背景光。在该a秒间光到达像素的情况下，通过受光电路101，设定为“有受光信号”的状态。然后，将计数信号设为开启。此时，在有受光信号的情况下，计数器值增加1。
然后，将受光电路101的复位信号设为开启，将受光电路101的内部的电信号及受光信号复位。将该一系列的行程反复b次。即，在计数器电路102中，计数并存储上述b次曝光之中光有多少次到达。这里，假设光到达了c次。但是，以上述a足够小或入射光足够小、入射光能够分解为光子数个、可看作断续地入射为前提。通常，如果a是几十纳秒以下，则该前提充分成立。
接着，对于比较电路103，将阈值设定信号设为开启，设定与作为计数器电路102的输出值的c次对应的阈值。阈值也可以是作为计数器电路102的输出值的c本身，但这里设定为d＝c+e(e是任意的正值)。
接着，进行距离测定期间的动作。这里，作为距离测定范围，假设检测处于从固体摄像装置10的极近距离到R米的范围中的物体。此外，其分辨率为R/N米(N是1以上的整数)。为了实现这一点，如图6所示，在距离测定期间为以下这样的行程。
首先，如图6所示，将距离测定期间进一步划分为N个期间。划分出的各个区间为检测0～R/N米的期间1、检测R/N～2R/N米的期间2、…、检测(α―1)R/N～αR/N米的期间α(α是1以上且N以下的整数)、…、检测(N－1)R/N～R米的期间N。距离测定期间的划分方式并不限于这种，例如也可以设为不等间距，但这里假设如上述那样划分而进行说明。
接着，对期间α内的动作进行说明。首先，将计数器电路复位信号设为开启，将计数器值复位。此外，将向存储电路104输入的时间信号设为α。向存储电路104输入的时间信号的值是完全任意的，只要在期间1～期间N中相互不同就可以。进而，也可以连续地变化(在图6中，在期间α内设为一定值)。
进而，控制光源40，投射拥有a秒钟的宽度的光脉冲。假如该光在与期间α中测定的距离对应的物体、即处于(α―1)R/N～αR/N米处的物体上反射而向固体摄像装置10内的某像素入射的情况下，由物体反射的光脉冲(称作接收光)相对于从光源发射的光脉冲(称作投射光)发射的时刻，延迟
[数式1]
而到达固体摄像装置10。这里，V是光速。因而，如果通过受光电路101的曝光信号将曝光设定为在该时刻开始并曝光a秒钟，则能够检测来自处于该距离范围内的物体的接收光。然后，在计数器电路102中，通过计数信号进行检测到接收光的次数、即光的到达次数的计数。然后，通过受光电路101的复位信号进行复位。
以上述的次序将曝光反复进行b次，在计数器电路102中将光的到达次数计数。假如在与期间α对应的距离范围内不存在物体，则由于计数的期望值是作为背景光成分的c次，比阈值d小，所以后段的比较电路103的动作不变化。在与期间α对应的距离范围内存在物体的情况下，计数的期望值成为作为超过c次的值的f次。即，在接收光强度充分大的情况下，满足
f>d …(式2)。
然后，将比较电路103的输出许可信号设为开启。在满足式2的情况下，比较信号开启，时间信号被存储为距离信号。在不满足式2的情况下，所存储的距离信号(或者也可能有初始值的情况)不变化。
然后，期间(α+1)继续，在期间N，距离测定期间结束。此时，在各像素的存储电路104中，存储有与到各像素摄影的物体的距离对应的信号、即距离信号。
最后，在距离信号输出期间，输出存储在各像素中的距离信号。在图1所示的距离测定装置1内的固体摄像装置10的情况下，由垂直移位寄存器13及水平移位寄存器16依次选择像素，输出距离信号。通过由信号处理装置20等对该距离信号进行处理，能得到三维的信息(即距离图像)。以下，也有将用来得到该距离图像的来自固体摄像装置10的信号简单称作距离图像的情况。
到这里为止，假设了背景光检测期间的曝光时间与距离测定期间的曝光时间相同，并且背景光检测期间的光脉冲数与距离测定期间的光脉冲数也相同，但并不限于此。但是，在不同的情况下，式2的成立要件对应于不同的值而变形。
进而，各期间的曝光信号相对于光脉冲的发射时刻的延迟时间也并不限于此，可以容易地想到各种各样的变形。
接着，说明由有关本实施方式的固体摄像装置10进行的距离测定与现有技术文献中使用的脉冲相位法相比、距离的测定动态范围更宽的理由。
在脉冲相位法的情况下，简单考虑则是根据接收光的强度变化来测定距离的方式，所以在超过了像素的饱和水平的情况下会无法测定。可是，接收光强度与到物体的距离的平方成反比例，此外与物体的反射率成比例。例如，设最大测定距离是100米，测定对象的物体的反射率是10％～100％。此时，来自处于1米的距离的反射率100％的物体的接收光强度、与来自处于100米的距离的反射率10％的物体的接收光强度的比达到100000:1。另一方面，由于通常的固体摄像装置的单一像素的饱和电子数是10000左右，所以意味着不能将上述2个同时测定。
另一方面，在由固体摄像装置10进行的距离测定的情况下，只有接收光强度大到式2成立的程度成为是否能够测定的条件，完全不受由到物体的距离和反射率带来的接收光强度的变化的影响。因而，可以说，由固体摄像装置10进行的距离测定与脉冲相位法相比，距离动态范围更大。
说明由固体摄像装置10进行的距离测定与脉冲相位法相比、对于背景光强度的耐受性更好的理由。作为测定条件，假设如上述那样检测处于从极近距离到R米的范围中的物体。此外，假设测定精度确保R/N米。
此时，最受背景光的影响的是测定最远距离即R米处的物体的情况。这是因为，背景光的来自物体的反射光强度不取决于到物体的距离，相对于此，来自光源的接收光与距离的平方成反比例。即，距离越远则接收光的SN比越小。
以下，计算能够测定的接收光的条件。以下，假设能量的单位是光子数。作为计算的假定，假设在噪声成分中，背景光的散粒噪声是支配性的，相对于此，接收光的散粒噪声足够小而能够忽视。
设向单一像素的接收光的每单位时间的入射峰值光子数为S(是将入射峰值功率换算为光子数的值)。S由光源的能量及物体的反射率、距离决定。与该接收光同时，由背景光在物体上反射带来的成分叠加。设由背景光带来的入射光成分的每单位时间的光子数为B。在脉冲相位法的情况下，由于必须将脉冲宽度设为
[数式2]
所以如果设脉冲数为M，则向单一像素的接收光的合计能量T为
[数式3]
另一方面，背景光的成分的合计能量为
[数式4]
但在其中叠加有光散粒噪声
[数式5]
用于使用测定的接收光能T来计算精度R/N米的必要条件，是能够以T/N以下的精度测定T。即，
[数式6]
是条件。
相对于此，以下导出对于由该固体摄像装置10进行的距离测定的与式7对应的式子。首先，单一的光脉冲的宽度及用来检测它的曝光时间只要是以光速穿过与一个期间对应的距离范围的2倍的时间、即
[数式7]
以下就可以。这里，假设单一的光脉冲的宽度及用来检测它的曝光时间等于式8。此外，在一个期间中向单一像素入射的接收光的合计能量为
[数式8]
但是，这里假定了各个期间的脉冲数和峰值能量相等。与此同时，由入射的背景光带来的光能是
[数式9]
该光的光散粒噪声是
[数式10]
阈值d最低限度需要比式10与式11的合计大。除此以外，为了避免在接收光没有到达的期间中误判定为到达，需要进一步使阈值d变大。根据统计理论，就式11的光散粒噪声比式11的γ倍大的概率而言，当γ＝1时是16％，当γ＝2时是2.5％，当γ＝3时是0.15％。只要该概率比1/N小，就不发生上述误判定。例如在N＝100的情况下，只要是γ＝3就可以。即，由于阈值d是
[数式11]
所以用来不发生误判定而测定的必要条件是
[数式12]
为了简单，考虑在由固体摄像装置10进行的距离测定中使总脉冲数与基于脉冲相位法的测定的情况一致的情况。即，在由固体摄像装置10进行的距离测定中，如果考虑脉冲相位法的脉冲数M、测定期间数N、各测定期间内的脉冲数b满足M＝Nb的情况，则式13为
[数式13]
将式14与式7比较可知，至少在N>γ的情况下，由该固体摄像装置10进行的距离测定方法能够以比脉冲相位法小的光源能量进行测定，即，对于背景光的耐受性高。在进行姿势识别、搭载在汽车中进行障碍物检测等的情况下，如果使用由固体摄像装置10进行的距离测定，则至少要求N>100，所以可知用实质上比脉冲相位法小的光源能量就可以。
接着，说明即使在背景光成分小的情况下、测距精度也高的理由。这里，假设噪声的主成分是接收光成分的光散粒噪声，其他噪声可以忽视。
在脉冲相位法的情况下，接收光成分的光散粒噪声成分可以认为大致等于与光能T对应的光散粒噪声，是
[数式14]
用来计算精度R/N米的必要条件，是能够以T/N以下的精度测定T。即，
[数式15]
在由该固体摄像装置10进行的距离计测的情况下，为了简单，如果设满足M＝Nb，则单一的测定期间内的接收光子数是
[数式16]
用来得到精度R/N米的必要条件，是单一的测定期间内的接收光能为1光子以上。即，
[数式17]
将式16与式17比较可知，关于N>1的情况，与脉冲相位法相比，由该固体摄像装置10进行的距离测定能够以更小的光能进行。反言之，如果是相同的光能，则可以说由该固体摄像装置10进行的距离测定能得到更高的测距精度。
以上，根据有关本实施方式的固体摄像装置10，可测定距离范围宽，在强的背景光的环境下也能够进行距离测定。
另外，在以下的实施方式2以后，公开并说明图2所示的像素100内的各块的具体的电路结构。但是，公开的电路结构不过是一例，并不限于此。此外，附加说明一下当然有可能是某块为公开的电路结构、某块为拥有由实施方式1表示的功能的电路。
(实施方式2)
使用图7及图8对有关实施方式2的固体摄像装置进行说明。图7是用来说明有关本实施方式的固体摄像装置的背景光检测期间的动作次序的图。图8是用来说明有关本实施方式的固体摄像装置的距离测定期间的动作次序的图。
有关本实施方式的固体摄像装置10与有关实施方式1的固体摄像装置10不同的点，是比较电路103中被输入输出许可信号这一点。
固体摄像装置10的结构与有关实施方式1的固体摄像装置10的结构是同样的。以下，对有关本实施方式的固体摄像装置10的像素100进行说明，但与有关实施方式1的固体摄像装置10重复的部分适当省略说明。
1帧内的固体摄像装置10的动作的大体框架与图4是同样的。
如图7所示，在背景光检测期间，与实施方式1同样，将来自光源40的信号光设为关闭。在背景光检测期间，向固体摄像装置10的入射光只是由背景光带来的光。对于传输门晶体管106，通过以a秒将传输门脉冲设为开启，使传输门晶体管106导通。另外，在使传输门晶体管106导通之前，预先将复位晶体管107截止后将传输门脉冲设为开启，由此将受光元件105复位。
然后，如果光入射a秒钟，则与入射光对应的电荷经由传输门晶体管106被积蓄到电荷积蓄电容器108。
在a秒后，在传输门晶体管106被截止后，将作为向计数器晶体管109的栅极施加的电压的计数器触发信号设为开启，将其电荷向计数器电容110传输。
然后，将计数器触发信号设为关闭，使复位晶体管107导通，将电荷积蓄电容器108的电荷复位。将该行程反复b次。
然后，将比较电路阈值设定信号设为开启，向钳位晶体管112施加该信号，由此将与背景光对应的计数器电容110的电压作为直流截止电容器111的两端的电压进行存储。在此期间，将输出许可信号的电压设定为电压E。
在距离测定期间，与实施方式1同样将期间分割为多个期间。图8表示距离测定期间中的动作次序。
在期间α，首先与背景光检测期间同样，预先将复位晶体管107导通，将电荷积蓄电容器108的电荷复位。
然后，射出宽度a秒的信号光脉冲。相对于所射出的信号光脉冲，延迟由式1表示的时间来使传输门晶体管导通。在将传输门晶体管导通a秒钟之后，将计数器触发信号设为开启，将由受光元件105生成的电荷向电荷积蓄电容器108传输。将该行程反复b次。
然后，使输出许可信号的电压变化为0。此时，如果存储在计数器电容110中的计数器值的绝对值比在背景光检测期间中设定的比较电路103的阈值与电压E之和的绝对值大，则比较电路103内的变换器113的状态变化，使输入晶体管114导通。
另外，该阈值可以通过将计数器电容110的另一端的电压增减来调节。即，能够调节相当于上述的电压E的值。此外，所设定的电压值当然并不限于E和0，背景光检测期间中的设定值与这里的设定值的差为相当于E的值。
输入晶体管114的漏极中被施加相当于距离信号的时间信号(电压)。例如，也可以施加(1+α/R)伏特。当由比较电路103将栅极导通时，相当于距离信号的电压被积蓄到存储电容器115中。
在全部期间结束后，在各像素的存储电容器115中，存储有相当于到物体的距离的电压。将该信号在距离信号输出期间依次输出。例如，在将该像素100搭载在图1所示的固体摄像装置10中的情况下，进行以下这样的动作。
首先，将选择晶体管118导通。此时，由放大晶体管117输出存储在存储电容器115中的电压。在输出的电压中，实际叠加着放大晶体管117固有的偏移电压。然后，将存储节点复位晶体管116导通，将存储电容器115的电压复位。读出将存储节点复位晶体管116截止后的来自放大晶体管117的输出电压，能够由固体摄像装置10内的CDS电路15将上述偏移电压除去，能够得到距离信号。
(实施方式3)
使用图9对有关实施方式3的固体摄像装置进行说明。图9是表示搭载在有关本实施方式的固体摄像装置中的像素的结构的图。
有关本实施方式的固体摄像装置与有关实施方式1的固体摄像装置不同的点，是受光电路具有多组受光元件及传输门晶体管这一点。
如图9所示，有关本实施方式的固体摄像装置的像素200具备受光电路201、计数器电路102、比较电路103和存储电路104。
受光电路201具有受光元件205a、205b、205c、205d、传输门晶体管206a、206b、206c、206d和复位晶体管207。另外，在图9所示的像素200中，受光电路201以外的结构与图10A所示的像素300是同样的，所以省略详细的说明。
受光元件205a、205b、205c、205d及传输门晶体管206a、206b、206c、206d分别各1个成为组，多组被并联连接。在受光电路201中，同时进行传输门晶体管206a、206b、206c、206d的导通-截止动作。由此，在受光电路201中，能够增加用于受光的受光元件的总面积。由此，能够进一步提高与距离对应的向物体的灵敏度。
(实施方式4)
使用图10A～图12对有关实施方式4的固体摄像装置进行说明。图10A及图10B是表示搭载在有关本实施方式的固体摄像装置中的像素的结构的图。图11是表示有关本实施方式的固体摄像装置的结构的概略图。图12是表示有关本实施方式的固体摄像装置的1帧期间的动作的图。
有关本实施方式的固体摄像装置与有关实施方式1的固体摄像装置不同的点，是像素具备亮度图像用放大晶体管和亮度图像用选择晶体管这一点。
如图10A所示，像素300具备受光电路101、计数器电路102、比较电路103和存储电路104。受光电路101、计数器电路102、比较电路103和存储电路104的结构由于与实施方式1所示的受光电路101、计数器电路102、比较电路103和存储电路104是同样的，所以省略详细的说明。像素300还具备亮度图像用放大晶体管301和亮度图像用选择晶体管302。由此，固体摄像装置10经由计数器电路102、比较电路103及存储电路104得到基于受光信号的距离信号，从而得到距离图像，并且经由亮度图像用放大晶体管301和亮度图像用选择晶体管302得到受光信号，从而得到对象物的亮度图像。
图10A所示的像素300的特征是，还追加了亮度图像用放大晶体管301、亮度图像用选择晶体管302。将亮度图像用放大晶体管301及亮度图像用选择晶体管302和受光电路101加在一起的部分是与通常的固体摄像装置的像素共有型电路相同的结构。因而，仅通过该部分能够得到通常的二维的物体的亮度图像。
另外，受光元件及传输门晶体管的组既可以如图10A所示的受光元件105及传输门晶体管106那样是单一的组，也可以如图10B所示那样是多个组。在图10B所示的像素400中，受光电路401与实施方式3所示的受光电路201同样，具有受光元件405a、405b、405c、405d、和与这些受光元件分别成为组的传输门晶体管406a、406b、406c、406d。由此，在受光电路201中，能够增加用于受光的受光元件的总面积。由此，能够进一步提高与距离对应的向物体的灵敏度。另外，在图10B所示的像素400中，受光电路401以外的结构由于与图10A所示的像素300是同样的，所以省略详细的说明。
作为搭载上述的像素300或400的固体摄像装置，例如可以考虑图11所示的固体摄像装置50那样的结构。固体摄像装置50具备像素区域52、垂直移位寄存器53、像素驱动电路54、CDS电路55、水平移位寄存器56、输出电路57、亮度信号线58、距离信号线59和亮度·距离选择开关60。
在像素区域52中，像素500以二维状排列。像素500的结构是上述的像素300或400。
垂直移位寄存器53、像素驱动电路54、CDS电路55、水平移位寄存器56、输出电路57的结构由于与实施方式1所示的垂直移位寄存器13、像素驱动电路14、CDS电路15、水平移位寄存器16和输出电路17是同样的，所以省略详细的说明。另外，在固体摄像装置50中搭载有2个输出电路57，但当然也可以考虑不是2个的固体摄像装置。例如，也可以为如实施方式1所示的固体摄像装置10那样具备4个输出电路17的固体摄像装置。
亮度信号线58连接于同一列的像素500内的亮度图像用选择晶体管302。距离信号线59连接于同一列的选择晶体管118。亮度·距离选择开关60在输出侧连接着亮度信号线58及距离信号线59的某一方。在该固体摄像装置的情况下，亮度·距离选择开关60在输入侧连接着CDS电路55，在输出侧连接着亮度信号线58及距离信号线59的某一方。
使用图12对固体摄像装置50的驱动方法进行说明。图12表示在固体摄像装置50的1帧期间中包含的动作期间。1帧期间被划分为背景光检测期间、距离测定期间、距离信号输出期间及亮度图像摄影·输出期间。固体摄像装置50进行将背景光检测期间、距离测定期间、距离信号输出期间及亮度图像摄影·输出期间按该顺序反复的动作。其中，亮度图像摄影·输出期间与通常的固体摄像装置的图像摄影的驱动是同样的。即，通过经由亮度图像用放大晶体管301和亮度图像用选择晶体管302得到受光信号，能够得到对象物的亮度图像。亮度图像摄影·输出期间，是被摄体的亮度图像的取得(所谓的黑白图像)期间、或者在像素500中搭载有滤色器的情况下是取得彩色图像的期间。
在背景光检测期间，使用实施方式1、2或4所示的方法，对于全部像素500进行相同的动作。
在接着的距离测定期间中，也使用实施方式1、2或4所示的方法，对全部像素500进行相同的动作。在该时间点，在各存储电路104的存储电容器115中存储有与距离对应的电压。
在距离信号输出期间，首先将亮度·距离选择开关60选择到距离信号线59侧。接着，一边由垂直移位寄存器53依次进行行选择(该扫描的方式与通常的固体摄像装置是同样的)，一边将所选择的行的像素500内的存储电容器115的电压向CDS电路55读出。然后，将存储节点复位晶体管116导通，将向存储电容器115施加的电压复位。在将存储节点复位晶体管116截止后，将存储电容器115的复位后的电压经由放大晶体管117向距离信号线59读出，通过从之前读出到CDS电路55中的电压减去该电压，能够得到距离信号。将距离信号一边由水平移位寄存器56依次进行列扫描一边经由输出电路57向外部读出。
在接着的亮度图像摄影·输出期间中，将亮度·距离选择开关60选择到亮度信号线58侧。在图10A所示的像素300的情况下，如果使用亮度图像用放大晶体管301、亮度图像用选择晶体管302进行与通常的固体摄像装置同样的动作，则能得到亮度信号、即被摄体的亮度图像(通常，简单称作“图像”)。
另外，在图10B所示的像素400的情况下，既可以使多个传输门晶体管406a、406b、406c、406d同时动作(即与使多个传输门晶体管406a、406b、406c、406d的栅极短路同等的动作)，也可以使其分开动作。即，使多个受光电路401同时动作还是分开动作是任意的。在前者的情况下，在电路上受光电路可以看作是1个，所以只要与图10A完全同样地考虑就可以。在后者的情况下，相对于距离图像的分辨率，可以使亮度图像的分辨率成为像素内的受光元件(光电二极管)的个数倍。以下，对该固体摄像装置50的结构及驱动进行说明。
假设受光元件405a、405b、405c、405d全部是相同形状。可以想到，对于固体摄像装置50上的配置像素400的区域，通常优选的是将受光元件405a、405b、405c、405d均等地排列。例如，在受光元件是4个(受光元件405a、405b、405c、405d)的情况下，进行2行2列的排列。
接着，对上述的结构的情况下的固体摄像装置50的驱动进行说明。在背景光检测期间、距离测定期间及距离信号输出期间，多个传输门晶体管同时动作，在亮度图像摄影·输出期间，多个传输门晶体管也可以分开动作。首先，假设由垂直移位寄存器53选择了某行的亮度图像用选择晶体管302。在该状态下，使某1个传输门晶体管、例如传输门晶体管406a动作，将与其连接的受光元件405a所检测出的亮度信号、复位电压读出到CDS电路55中并取差分(这与通常的固体摄像装置是同样的)。使水平移位寄存器56动作，经由输出电路57依次读出。然后，使其他的传输门晶体管、例如传输门晶体管406b动作，进行同样的动作。将该动作对像素400内的全部的传输门晶体管406a、406b、406c、406d进行。然后，由垂直移位寄存器53选择下一行，进行同样的动作，由此能够得到亮度图像的分辨率相对于距离图像的分辨率为像素400内的受光元件405a的个数倍的亮度图像。
这里表示的动作的前提是得到亮度图像时的来自被摄体的光波谱包含来自光源40的光的波长。已知通常优选的是将仅使来自光源40的光的波长穿过的带通滤波器设置在通往固体摄像装置50的光学系统中，抑制距离测定时的背景光的影响。在此情况下，亮度图像成为仅由光源40的光波长形成的影像。在不希望这样的情况下，可以考虑精心设计搭载到固体摄像装置上的滤色器，将本申请的像素和通常的像素混载到固体摄像装置上等。
(实施方式5)
对有关实施方式5的固体摄像装置进行说明。
在被搭载到有关本实施方式的固体摄像装置中的像素中，作为受光元件而使用雪崩·光电二极管。像素可以是图3、图9、图10A及图10B所示的像素原样。
在作为受光元件而使用雪崩·光电二极管的情况下，在受光元件的两端施加高电压(通常是10V至100V左右)。通常的光电二极管对于入射到受光元件中的1个光子，生成1个电子或空穴，而雪崩·光电二极管对于入射到受光元件中的1个光子，生成多个电子或空穴。将该生成的电子或空穴的个数称作增倍率。
例如，在图3所示的像素100的情况下，如果作为受光元件105而使用通常的光电二极管，则在将计数器晶体管109导通或截止时，发生被称作kTC噪声的噪声。kTC噪声的值取决于电荷积蓄电容器108、计数器晶体管109的电容值，但在电荷积蓄电容器108、计数器晶体管109的电容值是几fF的情况下，kTC噪声的值为几十个电子。相对于几十个电子的kTC噪声的值，在接收光的强度弱且受光元件105生成的电荷是1个电子左右的情况下，接收光被kTC噪声掩埋。
在这样的情况下，如果受光元件105中使用增倍率高的雪崩·光电二极管，则接收光不会被kTC噪声掩埋，能够得到高SN比的距离信号。特别是，如果设为被称作盖革模式的、增倍率大约为10000以上的状态，则能够得到在实施方式1中叙述那样的2值的受光信号。
通常，对雪崩·光电二极管而言，如果使施加电压变低(大致为几V)则呈现与通常的光电二极管同样的动作，如果使施加电压变高(通常为几十V至100V左右)，则以增倍率高的盖革模式动作。
在如实施方式4所示的能够取得距离图像和亮度图像双方的像素300或400的情况下，在背景光检测期间、距离测定期间，使雪崩·光电二极管的施加电压变高，在亮度图像摄影·输出期间，使雪崩·光电二极管的施加电压变低。由此，在背景光检测期间、距离测定期间，能够进行适合得到距离图像的动作，在亮度图像摄影·输出期间，能够进行与通常的固体摄像装置同样的动作而得到亮度图像。
(实施方式6)
使用图13对有关实施方式6的固体摄像装置进行说明。图13是表示搭载在有关本实施方式的固体摄像装置中的像素的结构的图。
有关本实施方式的固体摄像装置与有关实施方式3的固体摄像装置不同的点，是受光电路除了受光元件及传输门晶体管以外还具备变换器和受光信号开关这一点。
如图13所示，搭载在有关本实施方式的固体摄像装置中的像素600具备受光电路601、计数器电路102、比较电路103和存储电路104。另外，在图13所示的像素600中，受光电路601以外的结构与图10A所示的像素300是同样的，所以省略详细的说明。
受光电路601具有受光元件605、传输门晶体管606、复位晶体管607、受光元件信号放大用变换器608和受光信号开关609。这里，受光元件605及传输门晶体管606的组既可以是单一的(在图13中记载)，也可以是多个(虽然没有作为图记载，但与图10A及图10B的要点相同)。
在受光电路601中，通过受光元件信号放大用变换器608，能够将由受光元件605生成的电荷放大为振幅大的受光信号，使之成为2值信号。如果将该信号通过将受光信号开关609接通而输入到计数器电路102，则能够使受光信号成为2值。
以上，基于实施方式对有关一个或多个技术方案的固体摄像装置进行了说明，但本申请并不限定于该实施方式。只要不脱离本发明的主旨，对本实施方式实施了本领域技术人员想到的各种变形后的形态、或将不同的实施方式的构成要素组合而构建的形态也包含在一个或多个技术方案的范围内。
例如，构成受光电路的受光元件及传输门晶体管的组既可以是单一的组，也可以是多个组。
此外，受光电路也可以连接于亮度图像用放大晶体管及亮度图像用选择晶体管。
此外，受光电路也可以具有受光元件信号放大用变换器和受光信号开关。
(实施方式7)
使用图16对有关实施方式7的固体摄像装置进行说明。图16是说明搭载在有关本实施方式的固体摄像装置中的像素区域的排列的图。
如图16的(a)及(b)所示，有关本实施方式的固体摄像装置在1个像素200中搭载有具有受光元件205a、205b、205c、205d(关于接受可视光的元件，以下也有记作可视光受光元件的情况)的受光电路201(与图9所示的受光电路201同样的受光电路)和信号处理电路210(包括与图9所示的计数器电路102、比较电路103、存储电路104、放大晶体管117、选择晶体管118同样的结构的电路)。另外，关于受光电路201、信号处理电路210的结构及动作，由于与图9所示的受光电路201、计数器电路102、比较电路103、存储电路104、放大晶体管117、选择晶体管118是同样的，所以参照图9的标号进行说明。在本实施方式中，像素区域12的多个像素200具备具有红外线透射滤波器的第1像素群、和具有可视光透射滤波器的第2像素群。
在图16的(a)中，将与红(R)、蓝(B)、绿(G)、红外线(IR)对应的受光元件205a、205b、205c、205d作为1个群组，将其以二维状排列。在该1个群组的区域中，搭载1个图9所示的像素电路200。关于受光元件，搭载了上述受光元件205a、205b、205c、205d的合计4个，是分别与R、G、B、IR对应的受光元件。配置在R的位置处的受光元件205a具备配置在受光面上的红色透射滤波器，仅接受红色光。配置在B的位置处的受光元件205c具备配置在受光面上的蓝色透射滤波器，仅接受蓝色光。配置在G的位置处的受光元件205b具备配置在受光面上的绿色透射滤波器，仅接受绿色光。配置在IR的位置处的受光元件205d具备配置在受光面上的红外线透射滤波器，仅接受红外线。
根据该结构，使用与R、B、G的对应的受光元件205a、205b、205c得到亮度图像，由此能够构成彩色图像。距离图像可以通过作为光源40而使用红外线、使用与IR对应的受光元件205d来得到。
驱动方法只要使用与实施方式3所示的方法同样的方法就可以。但是，在得到亮度图像的情况下，仅将与对应于R、B、G的受光元件205a、205b、205c连接的传输门晶体管206a驱动。另一方面，在得到距离图像的情况下，只要仅将与对应于IR的受光元件205d连接的传输门晶体管406驱动就可以。
这里，设为了将检测R、B、G、IR的受光元件205a、205b、205c、205d的各1个排列为群组，但也可以考虑分别存在多个的排列。例如，也可以考虑相对于各1个与R、B、G对应的受光元件205a、205b、205c，IR对应的受光元件205d为4个的情况。在其他的组合中也能够使用同样的电路。
(实施方式8)
使用图17及图18对有关实施方式8的固体摄像装置进行说明。图17是说明搭载在有关本实施方式的固体摄像装置中的像素区域的排列的图。在图17中，正方形内部与图16是同样的。图18是表示有关本实施方式的可视光像素电路的结构的电路图。
在图17中，将红(R)、蓝(B)、绿(G)、红外线(IR)作为1个群组，具有与红(R)、蓝(B)、绿(G)、红外线(IR)对应的受光电路700a、700b、700c、700d的像素以二维状排列。在IR的位置，搭载与图3或图10A所示的受光电路101同样的结构的受光电路700d。在R、B及G的位置，搭载受光电路700a、700b、700c。另外，受光电路700a、700b、700c是与图18所示的可视光像素电路700相同的结构。以下，对可视光像素电路700进行说明。
图18所示的可视光像素电路700是与图10A所示的受光电路101、亮度图像用放大晶体管301及亮度图像用选择晶体管302同样的结构。详细地讲，具备在受光面上配置有可视光(例如，红色光、蓝色光、绿色光)透射滤波器的受光元件701、传输门晶体管702、复位晶体管703、亮度图像用放大晶体管704和亮度图像用选择晶体管705。可视光像素电路700的结构与通常的CMOS传感器的像素电路是同样的，所以驱动方法的说明省略。
根据该结构，与实施方式7同样，使用与R、B、G分别对应的受光元件701得到亮度图像，由此能够构成彩色图像。距离图像可以通过作为光源40而使用红外线、使用与IR对应的受光元件701来得到。在IR的位置处使用图10A所示的可视光像素电路700的情况下，还能够得到使用IR光的亮度图像。
另外，与实施方式7同样，R、B、G、IR的排列方法并不限于上述情况，也可以适当变更。
(实施方式9)
使用图19及图20对有关实施方式9的固体摄像装置进行说明。图19是说明搭载在有关本实施方式的固体摄像装置中的像素区域的排列的图。在图19中，正方形内部与图16、图17是同样的。图20是表示有关本实施方式的可视光像素电路的结构的电路图。
首先，如图19所示，在沿纵向排列有4个的像素IR中，分别内置有各1个受光元件。在这些受光元件的受光面上，配置有红外线透射滤波器，仅红外线被受光元件检测到。进而，在该4个量的像素区域中，内置有图9或图10A所示的像素电路。该像素电路是与图9或图10A所示的像素电路101或201同样的结构。
对于其右邻的像素列，从上起记作R、G、R、G，分别搭载有在受光面上配置有红色、绿色、红色、绿色的透射滤波器的受光元件801a、801b、801c、801d(参照图20)。在该4个量的像素区域中，搭载有图20所示的可视光像素电路800(另外，在图20所示的受光元件801a、801b、801c、801d中还包括可视光受光元件)。
图20所示的可视光像素电路800具备受光元件801a、801b、801c、801d、传输门晶体管802、复位晶体管803、亮度图像用放大晶体管804和亮度图像用选择晶体管805。该可视光像素电路800是与图9或图10A所示的受光电路101或201、亮度图像用放大晶体管301及亮度图像用选择晶体管302同样的结构。该可视光像素电路800由于是在通常的CMOS图像传感器中常用的电路，所以驱动方法的说明省略。
从受光元件801a、801b、801c、801d中分别使用与R、G、B对应的受光元件，通过驱动图20的可视光像素电路800，能够得到彩色的亮度图像。
此外，距离图像可以通过将搭载有图9或图10A所示的受光电路101或201的部分驱动来得到。在使用图10A所示的受光电路201的情况下，还能够得到红外线的亮度图像。
另外，在本实施方式中，配置有红外线透射滤波器且具有对于IR的受光元件的像素对应于第1像素群，配置有可视光(例如，红色光、蓝色光、绿色光)透射滤波器且具有对应于R、G、B的受光元件的像素对应于第2像素群。
通过设为上述那样的像素排列，在第2像素群中，相邻的至少2个像素具备与传输门晶体管连接的共通的复位晶体管及共通的放大晶体管。由此，能够减小复位晶体管及放大晶体管的面积而增大第2像素群的面积，所以能够提高距离图像的精度。另外，为了提高距离图像的精度，优选的是使具备红外线透射滤波器的第1像素群的面积比像素区域12整体的面积的25％大。
另外，有关本实施方式的像素排列并不限定于图19所示的排列。在其他的排列的情况下，也只要在图9、图10A、图20所示的电路中使受光元件和传输门的群组的数量适当增减就可以(在图9、图10A、图20中，作为一例而用4个群组进行了记载)。
产业上的可利用性
有关本发明的固体摄像装置能够应用到用于防碰撞或自动驾驶的汽车用设备、距离测定装置等中。
标号说明
1距离测定装置
10、50固体摄像装置
12、52像素区域
13、53垂直移位寄存器
14、54像素驱动电路
15、55CDS电路
16、56水平移位寄存器
17、57输出电路
20信号处理装置
21模拟前端
22逻辑·存储器
30计算机
40光源
58亮度信号线
59距离信号线
60亮度·距离选择开关
100、200、300、400、500、600像素
101、201、401、601、700a、700b、700c、700d受光电路
102计数器电路
103比较电路
104存储电路
105、205a、205b、205c、205d、405a、405b、405c、405d、605、701、801a、801b、801c、801d受光元件
106、206a、206b、206c、206d、406a、406b、406c、406d、606、702、802传输门晶体管
107、703、803复位晶体管
108电荷积蓄电容器
109计数器晶体管
110计数器电容
111直流截止电容器
112钳位晶体管
113变换器
114输入晶体管
115存储电容器
116存储节点复位晶体管
117放大晶体管
118选择晶体管
130输出许可信号
210信号处理电路
301、704、804亮度图像用放大晶体管
302、705、805亮度图像用选择晶体管
607复位晶体管
608受光元件信号放大用变换器
609受光信号开关
700、800可视光像素电路

Claims (14)

1.一种固体摄像装置，以二维状排列有具有第1像素群的多个像素，上述第1像素群具备红外线透射滤波器，上述固体摄像装置的特征在于，
上述第1像素群的各像素具备：
受光电路，具有进行将接受的光变换为电信号的光电变换的受光元件，通过曝光信号来设定在上述受光元件中进行光电变换的光电时间，输出与在上述光电时间内到达上述像素的入射光的有无对应的受光信号；
计数器电路，基于从上述受光电路输入的上述受光信号，将上述入射光的到达次数作为计数值进行计数；
比较电路，将与上述计数值对应的值设定为阈值，在上述计数值相对于上述阈值大的情况下将比较信号设为开启状态；以及
存储电路，被输入上述比较信号和相对于时间而变化的时间信号，在上述比较信号为开启状态时将上述时间信号作为距离信号进行存储。
2.如权利要求1所述的固体摄像装置，其特征在于，
上述固体摄像装置是根据来自光源的脉冲光返回的时间来测定距离、在1帧期间内输出表示到对象物的距离的距离图像的固体摄像装置；
上述1帧期间中包括背景光检测期间、距离测定期间及距离信号输出期间；
在上述背景光检测期间，设定上述阈值；
上述距离测定期间被划分为N个期间，其中N是1以上的整数；
在上述背景光检测期间、上述距离测定期间及上述距离信号输出期间的各期间，相对于来自上述光源的光脉冲的发射时刻延迟规定的时间而设定上述曝光信号；
在上述距离测定期间的上述N个期间的各自中，将上述阈值与上述计数值比较，在上述计数值比上述阈值大的期间，将上述时间信号作为距离信号进行存储；
在上述距离信号输出期间，将上述距离信号作为上述距离图像进行输出。
3.如权利要求1所述的固体摄像装置，其特征在于，
上述受光电路具有输送通过光电变换而产生的电荷的传输门晶体管；
上述传输门晶体管连接在上述受光元件与上述计数器电路之间。
4.如权利要求3所述的固体摄像装置，其特征在于，
上述受光电路具有多组将上述受光元件与上述传输门晶体管串联连接的组。
5.如权利要求1～4中任一项所述的固体摄像装置，其特征在于，
上述受光电路还与亮度图像用放大晶体管连接；
上述亮度图像用放大晶体管还与亮度图像用选择晶体管连接；
上述固体摄像装置经由上述计数器电路、上述比较电路及上述存储电路得到基于上述受光信号的上述距离信号，由此得到上述距离图像；
上述固体摄像装置经由亮度图像用放大晶体管和上述亮度图像用选择晶体管得到上述受光信号，由此得到上述对象物的亮度图像。
6.如权利要求4所述的固体摄像装置，其特征在于，
上述受光电路具有多组将上述受光元件与上述传输门晶体管串联连接的组；
上述多组中的各上述传输门晶体管连接于上述计数器电路；
上述固体摄像装置在1帧期间内输出上述亮度图像和上述距离图像双方；
在上述1帧期间内，包含有背景光检测期间、距离测定期间、距离信号输出期间及亮度图像摄影·输出期间；
在上述背景光检测期间、上述距离测定期间及上述距离信号输出期间，多个上述传输门晶体管同时动作；
在上述亮度图像摄影·输出期间，上述多个传输门晶体管分开动作。
7.如权利要求1～6中任一项所述的固体摄像装置，其特征在于，
上述受光元件是雪崩·光电二极管。
8.如权利要求1～6中任一项所述的固体摄像装置，其特征在于，
上述受光电路包括受光元件信号放大用变换器和受光信号开关。
9.如权利要求1～8中任一项所述的固体摄像装置，其特征在于，
上述多个像素还具备具有可视光透射滤波器的第2像素群。
10.一种距离测定装置，其特征在于，具备：
权利要求1～9中任一项所述的固体摄像装置；
光源；以及
信号处理装置，与上述光源的控制同步地控制上述固体摄像装置；
由上述固体摄像装置接受从上述光源照射的光在对象物上反射的反射光，根据来自上述光源的光脉冲的发射时刻和在上述固体摄像装置中接受上述反射光的时刻，由上述信号处理装置输出从上述光源到上述对象物的距离图像。
11.如权利要求9所述的固体摄像装置，其特征在于，
上述第2像素群的各像素具备：
可视光用受光元件；
传输门晶体管，连接于上述可视光用受光元件；
复位晶体管，连接于上述传输门晶体管；以及
放大晶体管，连接于上述传输门晶体管。
12.如权利要求11所述的固体摄像装置，其特征在于，
在上述第2像素群中，相邻的至少2个像素分别具备：
可视光用受光元件；以及
传输门晶体管，连接于上述可视光用受光元件；
上述至少2个像素具备与上述各传输门晶体管连接的共通的复位晶体管及共通的放大晶体管。
13.一种距离测定方法，根据来自光源的脉冲光在对象物上反射而返回的时间来测定距离，并在1帧期间内输出距离图像，其特征在于，
上述1帧期间中包括背景光检测期间、距离测定期间及距离信号输出期间；
在上述背景光检测期间，设定上述阈值；
上述距离测定期间被划分为N个期间，其中，N是1以上的整数；
在上述背景光检测期间、上述距离测定期间及上述距离信号输出期间的各期间，相对于来自上述光源的光脉冲的发射时刻延迟规定的时间而设定上述曝光信号；
在上述距离测定期间的上述N个期间的各自中，将上述阈值与上述计数值比较，在上述计数值比上述阈值大的期间，将上述时间信号作为距离信号进行存储；
在上述距离信号输出期间，将上述距离信号作为上述距离图像进行输出。
14.如权利要求13所述的距离测定方法，其特征在于，
在上述1帧期间内，还包括得到上述对象物的亮度图像的亮度图像摄影·输出期间；
在上述亮度图像摄影·输出期间，将从上述对象物得到的上述受光信号作为上述亮度图像进行输出。
CN201680065681.7A 2015-12-08 2016-12-07 固体摄像装置、距离测定装置及距离测定方法 Active CN108291961B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2015239763 2015-12-08
JP2015-239763 2015-12-08
JP2016028428 2016-02-17
JP2016-028428 2016-02-17
PCT/JP2016/005075 WO2017098725A1 (ja) 2015-12-08 2016-12-07 固体撮像装置、距離測定装置および距離測定方法

Publications (2)

Publication Number Publication Date
CN108291961A true CN108291961A (zh) 2018-07-17
CN108291961B CN108291961B (zh) 2022-06-28

Family

ID=59013938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680065681.7A Active CN108291961B (zh) 2015-12-08 2016-12-07 固体摄像装置、距离测定装置及距离测定方法

Country Status (5)

Country Link
US (1) US10838066B2 (zh)
EP (1) EP3388858A4 (zh)
JP (1) JP6823815B2 (zh)
CN (1) CN108291961B (zh)
WO (1) WO2017098725A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111048540A (zh) * 2019-11-15 2020-04-21 西安电子科技大学 一种门控式像素单元以及3d图像传感器
WO2020082390A1 (en) * 2018-10-27 2020-04-30 Huawei Technologies Co., Ltd. Sensor and display device
CN111103057A (zh) * 2018-10-09 2020-05-05 豪威科技股份有限公司 具有使用基于电容器的比较器的阈值检测的光子感测
CN112305556A (zh) * 2019-07-25 2021-02-02 株式会社东芝 距离测量装置以及距离测量方法
CN112601979A (zh) * 2018-09-03 2021-04-02 松下知识产权经营株式会社 距离测定装置
CN112929519A (zh) * 2019-12-06 2021-06-08 Oppo广东移动通信有限公司 深度相机、成像装置和电子设备
CN113424027A (zh) * 2019-03-07 2021-09-21 索尼半导体解决方案公司 光接收装置
CN113646660A (zh) * 2019-03-28 2021-11-12 株式会社电装 测距装置
WO2022126429A1 (zh) * 2020-12-16 2022-06-23 深圳市大疆创新科技有限公司 测距装置、测距方法和可移动平台
CN115280519A (zh) * 2020-03-24 2022-11-01 索尼半导体解决方案公司 光接收装置和测距装置

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6929671B2 (ja) * 2017-03-17 2021-09-01 キヤノン株式会社 撮像装置及び撮像システム
JP6735515B2 (ja) * 2017-03-29 2020-08-05 パナソニックＩｐマネジメント株式会社 固体撮像装置
EP3451655B1 (en) 2017-08-31 2020-10-21 Canon Kabushiki Kaisha Solid-state image sensor and image capture apparatus
US10585176B2 (en) 2017-09-19 2020-03-10 Rockwell Automation Technologies, Inc. Pulsed-based time of flight methods and system
US10663565B2 (en) * 2017-09-19 2020-05-26 Rockwell Automation Technologies, Inc. Pulsed-based time of flight methods and system
JP7311423B2 (ja) 2017-10-30 2023-07-19 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子
TW202406328A (zh) 2018-03-15 2024-02-01 日商尼康股份有限公司 感測器以及具備其之攝像裝置
JP2019158806A (ja) * 2018-03-16 2019-09-19 ソニーセミコンダクタソリューションズ株式会社 受光装置及び測距装置
WO2019186837A1 (ja) * 2018-03-28 2019-10-03 パナソニックＩｐマネジメント株式会社 固体撮像装置、固体撮像システム、固体撮像装置の駆動方法
US10996324B2 (en) 2018-05-14 2021-05-04 Rockwell Automation Technologies, Inc. Time of flight system and method using multiple measuring sequences
US11002836B2 (en) 2018-05-14 2021-05-11 Rockwell Automation Technologies, Inc. Permutation of measuring capacitors in a time-of-flight sensor
US10969476B2 (en) 2018-07-10 2021-04-06 Rockwell Automation Technologies, Inc. High dynamic range for sensing systems and methods
JP7278039B2 (ja) * 2018-08-16 2023-05-19 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
US10789506B2 (en) * 2018-09-24 2020-09-29 Rockwell Automation Technologies, Inc. Object intrusion detection system and method
TWI696842B (zh) * 2018-11-16 2020-06-21 精準基因生物科技股份有限公司 飛時測距感測器以及飛時測距方法
US10834351B2 (en) * 2018-11-26 2020-11-10 Omnivision Technologies, Inc. Bitline settling speed enhancement
JP7321723B2 (ja) * 2019-03-04 2023-08-07 キヤノン株式会社 撮像装置およびその制御方法
JP7285454B2 (ja) * 2019-03-27 2023-06-02 パナソニックＩｐマネジメント株式会社 距離測定装置、距離測定システム、距離測定方法、及び、プログラム
CN114096879A (zh) * 2019-05-01 2022-02-25 感应光子公司 事件驱动的共享存储器像素
JPWO2020262476A1 (zh) * 2019-06-25 2020-12-30
JP2021016069A (ja) * 2019-07-11 2021-02-12 日本放送協会 固体撮像素子及び撮像装置
JP7422451B2 (ja) * 2019-07-19 2024-01-26 キヤノン株式会社 光電変換装置、光電変換システム、および移動体
WO2023094308A1 (en) * 2021-11-26 2023-06-01 Sony Semiconductor Solutions Corporation Time-of-flight circuitry and time-of-flight method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110249148A1 (en) * 2008-12-22 2011-10-13 Koninklijke Philips Electronics N.V. Cmos imager with single photon counting capability
CN103581645A (zh) * 2012-07-24 2014-02-12 三星电子株式会社 深度感测设备和方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002328169A (ja) * 2001-05-01 2002-11-15 Nikon Corp 測距装置および方法
EP1382979B1 (en) 2001-04-25 2008-03-05 Nikon Corporation Range finder, range finding method, and photoelectric transducing circuit
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
JP2009092555A (ja) * 2007-10-10 2009-04-30 Denso Corp パルスレーダ装置
JP2009257981A (ja) * 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置
KR101467509B1 (ko) 2008-07-25 2014-12-01 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
JP5585903B2 (ja) 2008-07-30 2014-09-10 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
JP5617159B2 (ja) * 2008-10-07 2014-11-05 トヨタ自動車株式会社 画像取得装置及び方法
JP2011128024A (ja) * 2009-12-17 2011-06-30 Sharp Corp ３次元撮像装置
US8698084B2 (en) 2011-03-10 2014-04-15 Sionyx, Inc. Three dimensional sensors, systems, and associated methods
US8976340B2 (en) * 2011-04-15 2015-03-10 Advanced Scientific Concepts, Inc. Ladar sensor for landing, docking and approach
US9541386B2 (en) * 2012-03-21 2017-01-10 Semiconductor Energy Laboratory Co., Ltd. Distance measurement device and distance measurement system
JP6416085B2 (ja) * 2012-05-29 2018-10-31 ブライトウェイ ビジョン リミテッド 適用可能な被写界深度を使用するゲーテッド撮像
US9448110B2 (en) * 2012-09-27 2016-09-20 Northrop Grumman Systems Corporation Three-dimensional hyperspectral imaging systems and methods using a light detection and ranging (LIDAR) focal plane array
JP6225411B2 (ja) * 2012-10-16 2017-11-08 株式会社豊田中央研究所 光学的測距装置
EP2890125B1 (en) 2013-12-24 2021-10-13 Sony Depthsensing Solutions A time-of-flight camera system
DE112015005163T5 (de) * 2014-11-14 2017-07-27 Denso Corporation Flugzeitabstandsmessvorrichtung

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110249148A1 (en) * 2008-12-22 2011-10-13 Koninklijke Philips Electronics N.V. Cmos imager with single photon counting capability
CN103581645A (zh) * 2012-07-24 2014-02-12 三星电子株式会社 深度感测设备和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CRISTIANO NICLASS ET AL.: "A 100m-range 10-frame/s 340×96-pixel time-of-flight depth sensor in 0.18μm CMOS", 《ESSCIRC》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112601979A (zh) * 2018-09-03 2021-04-02 松下知识产权经营株式会社 距离测定装置
US11181419B2 (en) 2018-10-09 2021-11-23 Omnivision Technologies, Inc. Photon sensing with threshold detection using capacitor-based comparator
CN111103057B (zh) * 2018-10-09 2022-04-08 豪威科技股份有限公司 具有使用基于电容器的比较器的阈值检测的光子感测
CN111103057A (zh) * 2018-10-09 2020-05-05 豪威科技股份有限公司 具有使用基于电容器的比较器的阈值检测的光子感测
US11594161B2 (en) 2018-10-27 2023-02-28 Huawei Technologies Co., Ltd. Sensor and display device
WO2020082390A1 (en) * 2018-10-27 2020-04-30 Huawei Technologies Co., Ltd. Sensor and display device
CN113424027B (zh) * 2019-03-07 2024-04-12 索尼半导体解决方案公司 光接收装置
CN113424027A (zh) * 2019-03-07 2021-09-21 索尼半导体解决方案公司 光接收装置
US11754442B2 (en) 2019-03-07 2023-09-12 Sony Semiconductor Solutions Corporation Light-receiving apparatus with cycle setting according to photon count determinations
CN113646660A (zh) * 2019-03-28 2021-11-12 株式会社电装 测距装置
CN112305556A (zh) * 2019-07-25 2021-02-02 株式会社东芝 距离测量装置以及距离测量方法
CN111048540B (zh) * 2019-11-15 2023-07-21 西安电子科技大学 一种门控式像素单元以及3d图像传感器
CN111048540A (zh) * 2019-11-15 2020-04-21 西安电子科技大学 一种门控式像素单元以及3d图像传感器
CN112929519B (zh) * 2019-12-06 2022-10-25 Oppo广东移动通信有限公司 深度相机、成像装置和电子设备
CN112929519A (zh) * 2019-12-06 2021-06-08 Oppo广东移动通信有限公司 深度相机、成像装置和电子设备
CN115280519A (zh) * 2020-03-24 2022-11-01 索尼半导体解决方案公司 光接收装置和测距装置
WO2022126429A1 (zh) * 2020-12-16 2022-06-23 深圳市大疆创新科技有限公司 测距装置、测距方法和可移动平台

Also Published As

Publication number Publication date
JPWO2017098725A1 (ja) 2018-09-20
US20180246214A1 (en) 2018-08-30
JP6823815B2 (ja) 2021-02-03
WO2017098725A1 (ja) 2017-06-15
EP3388858A4 (en) 2018-12-12
CN108291961B (zh) 2022-06-28
EP3388858A1 (en) 2018-10-17
US10838066B2 (en) 2020-11-17

Similar Documents

Publication Publication Date Title
CN108291961A (zh) 固体摄像装置、距离测定装置及距离测定方法
US11204421B2 (en) Distance measuring device
US11543496B2 (en) Apparatus for and method of range sensor based on direct time-of-flight and triangulation
JP6761000B2 (ja) 距離を計測するための光電センサ及び方法
CN105043539B (zh) 用于运行光电探测器的方法和装置
US9313434B2 (en) Pixel circuit with capacitor discharge indicative of number of events
TWI743471B (zh) 第一光子相關飛行時間感測器
CN111758047B (zh) 单芯片rgb-d相机
US20140091206A1 (en) Proximity sensor and associated method, computer readable medium and firmware
CN110308451A (zh) 适用于远程飞行时间应用的双模式堆叠光电倍增管
AU2018341551B9 (en) A neuromorphic single photon avalanche detector (SPAD) array microchip
US11733359B2 (en) Configurable array of single-photon detectors
CN108566524B (zh) 像素单元、图像传感器芯片、成像系统、像素单元的形成方法以及深度信息测算方法
JP6735515B2 (ja) 固体撮像装置
Perenzoni et al. A fast 50× 40-pixels single-point DTOF SPAD sensor with photon counting and programmable ROI TDCs, with σ< 4 mm at 3 m up to 18 klux of background light
US9115990B2 (en) Geospatial and image data collection system including image sensor for capturing 3D geospatial data and 2D image data and related methods
WO2019050024A1 (ja) 距離測定方法および距離測定装置
Bellisai et al. Indirect time-of-flight 3D ranging based on SPADs
US20220244391A1 (en) Time-of-flight depth sensing with improved linearity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant