CN114270807A - 摄像装置 - Google Patents
摄像装置 Download PDFInfo
- Publication number
- CN114270807A CN114270807A CN202080059281.1A CN202080059281A CN114270807A CN 114270807 A CN114270807 A CN 114270807A CN 202080059281 A CN202080059281 A CN 202080059281A CN 114270807 A CN114270807 A CN 114270807A
- Authority
- CN
- China
- Prior art keywords
- unit
- pixel
- detection signal
- correlation
- deviation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims abstract description 206
- 238000003384 imaging method Methods 0.000 claims abstract description 146
- 238000012545 processing Methods 0.000 claims abstract description 137
- 238000012937 correction Methods 0.000 claims abstract description 53
- 238000004364 calculation method Methods 0.000 claims abstract description 48
- 239000011159 matrix material Substances 0.000 claims abstract description 6
- 238000003860 storage Methods 0.000 claims description 63
- 238000000605 extraction Methods 0.000 claims description 32
- 238000005314 correlation function Methods 0.000 claims description 17
- 239000000284 extract Substances 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 64
- 230000008569 process Effects 0.000 abstract description 50
- 238000009792 diffusion process Methods 0.000 description 70
- 238000000098 azimuthal photoelectron diffraction Methods 0.000 description 38
- 238000009825 accumulation Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 32
- 238000005259 measurement Methods 0.000 description 30
- 238000012986 modification Methods 0.000 description 30
- 230000004048 modification Effects 0.000 description 30
- 238000012546 transfer Methods 0.000 description 29
- 238000005036 potential barrier Methods 0.000 description 28
- 230000006870 function Effects 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 15
- 230000003321 amplification Effects 0.000 description 8
- 238000003199 nucleic acid amplification method Methods 0.000 description 8
- 238000010791 quenching Methods 0.000 description 7
- 230000000171 quenching effect Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000010365 information processing Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000010485 coping Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000000265 homogenisation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
摄像装置(20)具备将多个像素单元以矩阵状配置而成的固体摄像元件、以及对从各像素单元输出的检测信号进行处理的信号处理部(25)。在此,信号处理部(25)具备:偏差计算部(203),计算从各像素单元输出的检测信号在像素单元间的偏差;以及校正运算部(205),基于由偏差计算部(203)计算的偏差,对从各像素单元输出的检测信号进行校正。
Description
技术领域
本发明涉及使用固体摄像元件的摄像装置。
背景技术
以往,使用固体摄像元件的摄像装置在医疗或放射线计测等各种领域中得到使用。最近,在向目标区域投射光并基于其反射光有无来检测在目标区域中有无物体的物体检测装置中,也使用摄像装置。在该情况下,基于光向目标区域的投射定时与反射光的受光定时之间的时间差,测定距物体的距离。按固体摄像元件的每个像素,检测有无反射光,测定距物体的距离。通过将测定的距离映射至各像素位置,能够生成与目标区域对应的距离图像。
在需要检测微弱的光的设备中,可以使用将雪崩光电二极管(以下称为“APD”)以阵列状配置而成的固体摄像元件。例如,在上述物体检测装置中,由于反射光的强度与距物体的距离的平方成反比,因此如果测距范围变长,则由固体摄像元件接受的反射光的强度大为衰减。在这样的情况下,使用将APD以阵列状配置而成的固体摄像元件是有利的。APD利用雪崩倍增使由于光子的碰撞而产生的电子(电荷)放大。由此,能够检测微弱的光。在这种固体摄像元件中,按每个像素单元配置有APD及其处理电路。
在此,在使用固体摄像元件的摄像装置中,来自各像素单元的信号中产生噪声成为课题。作为减小这样的噪声的方法的一例,在以下的专利文献1中记载了一种信号处理装置,具备:第1连接控制部,对单位像素的浮动扩散与转送从单位像素读出的信号的信号线之间的连接进行控制;第2连接控制部,对反馈用的放大部的输入与信号线之间的连接进行控制;第3连接控制部,对反馈用的放大部的输出与信号线之间的连接进行控制;以及反馈控制部,对单位像素、反馈用的放大部以及第1连接控制部至第3连接控制部进行控制,使反馈用的放大部的输出反馈至浮动扩散。
在先技术文献
专利文献
专利文献1:日本特开2016-58763号公报
发明内容
本发明所要解决的课题
在上述专利文献1的构成中,按每个像素需要使反馈用的放大部的输出反馈至浮动扩散的构成,因此固体摄像元件的构成变得复杂。
鉴于该课题,本发明的目的在于,提供不设置反馈电路就能够应对来自各像素单元的检测信号的偏差的摄像装置。
用于解决课题的手段
本发明的第1方式涉及摄像装置。本方式所涉及的摄像装置具备:将多个像素单元以矩阵状配置而成的固体摄像元件、以及对从所述各像素单元输出的检测信号进行处理的信号处理部。在此,所述像素单元具备雪崩光电二极管,输出与由所述雪崩光电二极管接受的光子的计数数量相应的电压作为所述检测信号。所述信号处理部具备:偏差计算部,计算从所述各像素单元输出的检测信号在所述像素单元间的偏差;以及校正运算部,基于由所述偏差计算部计算的偏差,对从所述各像素单元输出的检测信号进行校正。
根据第1方式所涉及的摄像装置,在对从各像素单元输出的检测信号进行处理的信号处理部中,计算从像素单元输出的检测信号的偏差,并基于计算出的偏差,对从各像素单元输出的检测信号进行校正。由此,能够对来自各像素单元的检测信号的偏差进行校正。
本发明的第2方式涉及摄像装置。本方式所涉及的摄像装置具备:将多个像素单元以矩阵状配置而成的固体摄像元件、以及对从所述各像素单元输出的检测信号进行处理的信号处理部。在此,所述像素单元具备雪崩光电二极管,输出与由所述雪崩光电二极管接受的光子的计数数量相应的电压作为所述检测信号。所述信号处理部具备:相关提取部,按每个所述像素提取所述计数数量与所述检测信号的相关关系;以及计数数量取得部,基于由所述相关提取部计算的所述相关关系,取得与来自所述各像素单元的检测信号相应的所述计数数量。
根据第2方式所涉及的摄像装置,预先由相关提取部提取由雪崩光电二极管接受的光子的计数数量与像素单元的检测信号之间的相关关系,在通常动作时,基于该相关关系,取得与来自各像素单元的检测信号相应的计数数量。由此,即使来自各像素单元的检测信号中产生偏差,也能够适当地取得光子的计数数量。
发明效果
如上所述,根据本发明,能够提供不设置反馈电路就能够应对来自各像素单元的检测信号的偏差的摄像装置。
本发明的效果和意义通过以下示出的实施方式的说明而更加明确。其中,以下示出的实施方式不过是实施本发明时的一个例示,本发明完全不限定于以下的实施方式所记载的方式。
附图说明
图1是表示实施方式1所涉及的距离测定装置的构成的图。
图2是表示实施方式1所涉及的像素单元的构成的图。
图3的(a)~(d)分别是说明实施方式1所涉及的像素单元的动作时序的图。
图4的(a)是说明实施方式1所涉及的像素单元的动作时序的图。图4的(b)是说明实施方式1所涉及的用于将浮动扩散部中积蓄的电荷量调整为规定电平的找平电平的其他设定方法的图。图4的(c)是用于执行实施方式1所涉及的像素单元的动作时序的流程图。
图5是表示实施方式1所涉及的信号处理部的构成的图。
图6的(a)是表示实施方式1所涉及的在校正表的更新动作时由信号处理部执行的处理的流程图。图6的(b)是表示实施方式1所涉及的在校正表的更新动作时由信号处理部执行的处理的变更例的流程图。
图7是实施方式1所涉及的判定是否满足校正表的更新条件的流程图。
图8的(a)是示意性地表示实施方式1所涉及的从各像素单元取得的检测信号的状态的图。图8的(b)是说明实施方式1所涉及的偏差计算部中的基准值的计算方法的图。
图9是表示变更例1所涉及的在校正表的更新动作时由信号处理部执行的处理的流程图。
图10是示意性地表示变更例2所涉及的传感器芯片的构成的图。
图11是表示实施方式2所涉及的像素单元的构成的图。
图12的(a)~(d)分别是说明实施方式2所涉及的像素单元的动作时序的图。
图13的(a)~(d)分别是说明实施方式2所涉及的像素单元的动作时序的图。
图14的(a)是实施方式2所涉及的用于执行像素单元的动作时序的流程图。图14的(b)是表示实施方式2所涉及的像素单元中的光子的计数数量与输出电压之间的关系的一例的图表。
图15是表示实施方式2所涉及的信号处理部的构成的图。
图16的(a)是表示实施方式2所涉及的在相关关系的更新动作时由信号处理部执行的处理的流程图。图16的(b)是表示实施方式2所涉及的相关表的构成的图。
图17的(a)是表示实施方式2的变更例1所涉及的在相关关系的更新动作时由信号处理部执行的处理的流程图。图17的(b)是表示实施方式2的变更例1所涉及的通过图17的(a)的处理存储至相关存储部的信息的图。
图18的(a)是表示实施方式2的变更例2所涉及的在相关关系的更新动作时由信号处理部执行的处理的流程图。图18的(b)是示意性地表示实施方式2的变更例2所涉及的通过图18的(a)的处理存储至相关存储部的相关函数的图。
图19是表示实施方式3所涉及的距离测定装置的构成的框图。
其中,附图仅用于说明,不对本发明的范围进行限定。
具体实施方式
以下,参照附图说明本发明的实施方式。
<实施方式1>
在本实施方式中,表示摄像装置被搭载于用于测定距物体的距离的距离测定装置的情况下的构成例。
图1是表示实施方式1所涉及的距离测定装置1的构成的图。
距离测定装置1具备投射光装置10和摄像装置20。投射光装置10向目标区域投射光。摄像装置20接受从投射光装置10出射的光被目标区域中的物体反射而成的反射光。
投射光装置10具备光源11、投射光学系统12和发光控制部13。光源11由激光源、LED(发光二极管(Light Emitting Diode))等构成,出射规定波长的光。投射光学系统12将从光源11出射的光以规定的扩展角向目标区域投射。投射光学系统12由一个或者多个透镜构成。投射光学系统12也可以包含凹面反射镜等。发光控制部13基于来自信号处理部25的控制,使光源11进行脉冲发光。
摄像装置20具备受光光学系统21、滤光器22、固体摄像元件23、摄像控制部24和信号处理部25。受光光学系统21使从投射光装置10出射的光被目标区域中的物体反射而成的反射光成像在固体摄像元件23的受光面上。受光光学系统21由一个或者多个透镜构成。受光光学系统21也可以包含凹面反射镜等。滤光器22透射从光源11出射的光,并将其他波长的光去除。
固体摄像元件23构成为将多个像素单元以矩阵状配置。即,多个像素单元以在行方向及列方向上分别以直线状相邻排列的方式配置在固体摄像元件23中。在固体摄像元件23中,按每个像素单元安装有APD及其处理电路。
摄像控制部24基于来自信号处理部25的控制,对各像素单元进行驱动。信号处理部25对发光控制部13及摄像控制部24进行控制,测定距目标区域中存在的物体的距离。即,信号处理部25通过发光控制部13使光源11进行脉冲发光,通过摄像控制部24使固体摄像元件23接受基于该脉冲发光的反射光。然后,信号处理部25基于脉冲发光的定时与各像素单元中的反射光的受光定时之间的时间差,测定距各像素单元所对应的目标区域上的位置处存在的物体的距离。
在图1的构成中,固体摄像元件23按每个像素单元将反射光的检测信号向摄像控制部24输出。各像素单元在接受了反射光的情况下,将基于雪崩倍增的电压电平的检测信号向摄像控制部24输出。向各像素单元入射的反射光的光量与距物体的距离的平方成反比地衰减。另外,向各像素单元入射的反射光的光量也根据物体的反射率而变化。即使反射光的光量像这样变化,各像素单元也将基于雪崩倍增的规定电压电平的检测信号向摄像控制部24输出。
具体而言,如果光子向各像素单元中配置的APD入射,则APD利用雪崩倍增使由于光子的碰撞而产生的电子(电荷)放大到饱和电荷量。各单元将饱和电荷量转换为电压,将转换的电压作为检测信号输出。由此,从各单元输出的检测信号均成为与饱和电荷量相应的电压。这样,各像素单元无论接受的反射光的光量如何,都将一定电压电平的检测信号向摄像控制部24输出。
但是,在各像素单元中,由于各种原因可能引起产生与基于雪崩倍增的通常的饱和电荷量不同的电荷的情况。因此,从各像素单元输出的检测信号可能相对于与饱和电荷量相应的电压产生偏差。像这样,如果检测信号按每个像素单元出现偏差,则可能引起摄像控制部24以后的电路部的处理变得不稳定。各像素单元的检测信号优选尽可能抑制偏差。
于是,在本实施方式1中,使用了用于抑制各像素单元的检测信号的偏差的构成。以下,关于该构成进行说明。
首先,参照图2说明像素单元100的构成。
像素单元100具备APD101、APD复位晶体管102、转送晶体管103、FD复位晶体管104、放大晶体管105和选择晶体管106。
APD101是利用雪崩倍增使由于光子的碰撞而产生的电子(电荷)放大到饱和电荷量的雪崩光电二极管。APD101以盖革放大模式被使用。APD101的阳极被施加与盖革放大模式相应的逆偏置电压VSUB(例如25V)。如果光子向APD101入射,则在APD101的阴极中积蓄电子(电荷)。
APD复位晶体管102是用于将APD101的阴极中积蓄的电荷复位的晶体管。通过向APD复位晶体管102的栅极施加复位信号OVF,APD101的阴极中积蓄的电荷经由APD复位晶体管102向复位漏极电源PIXRSD排出。由此,将APD101的阴极中积蓄的电荷复位。
转送晶体管103是用于将APD101的阴极中积蓄的电荷向浮动扩散部110转送的晶体管。通过向转送晶体管103的栅极施加转送信号TRN,APD101的阴极中积蓄的电荷经由转送晶体管103向浮动扩散部110转送。
FD复位晶体管104是用于将浮动扩散部110中积蓄的电荷复位的晶体管。通过向FD复位晶体管104的栅极施加复位信号RST,浮动扩散部110中积蓄的电荷经由FD复位晶体管104向复位漏极电源RSD排出。由此,将浮动扩散部110中积蓄的电荷复位。
放大晶体管105是用于基于漏极被施加的一定电压VDD将浮动扩散部110中积蓄的电荷的电荷量转换为电压的晶体管。选择晶体管106是用于向垂直信号线Vsig输出由放大晶体管105转换后的电压的晶体管。通过向选择晶体管106的栅极施加选择信号SEL,由放大晶体管105转换后的电压向垂直信号线Vsig输出。向垂直信号线Vsig输出的电压作为该像素单元100的检测信号向图1的摄像控制部24输出。
在本实施方式1中,浮动扩散部110的电容被设定为APD101的阴极的电荷积蓄区域的电容的一半左右。但是,浮动扩散部110的电容的设定方法不限于此,能够适用各种设定方法。
图3的(a)~(d)是说明像素单元100的动作时序的图。
在图3的(a)~(d)中,表示了从图2的复位漏极电源PIXRSD经由APD复位晶体管102、转送晶体管103、浮动扩散部110及FD复位晶体管104向复位漏极电源RSD连接的电路部分的电势图。纵轴的箭头的方向是低电位的方向。
在图3的(a)~(d)中,“PIXRSD”表示复位漏极电源PIXRSD的电位,“APD”表示APD101的阴极的电位,“FD”表示浮动扩散部110的电位,“RSD”表示复位漏极电源RSD的电位。另外,“OVF”表示APD复位晶体管102的电位,“TRN”表示转送晶体管103的电位,“RST”表示FD复位晶体管104的电位。
图3的(a)的初始状态表示APD101的阴极和浮动扩散部110被复位后的状态。在初始状态下,PIXRSD及RSD被设定为电位Vrsd。
另外,在该初始状态下,摄像控制部24以低电压驱动APD复位晶体管102,由此使OVF产生势垒。进而,摄像控制部24将转送晶体管103及FD复位晶体管104设定为关断,由此,使TRN和RST产生电位0V的高度的势垒。
从该状态起,摄像控制部24响应于光源11的脉冲发光以规定时间对各像素单元100进行曝光。由此,如果反射光向APD101入射,则在APD101的阴极中积蓄电荷(电子),如图3的(b)所示,APD的电位变化。在图3的(b)中,以阴影表示电荷的积蓄。在由于雪崩倍增而产生了通常的饱和电荷量的电荷的情况下,APD的电位成为电位Vq(以下成为“淬灭电位Vq”)。
饱和电荷量可能按每个APD101而产生偏差。因此,淬灭电位Vq也可能按每个APD101在离散±σ的范围内产生偏差。在图3的(b)中,图示了由于该偏差而以相对于典型的饱和电荷量稍多的电荷量产生了电荷的情况。另外,在图3的(b)中,典型的淬灭电位作为Vq示出。以下,只要没有特别言及,用语“淬灭电位Vq”就意味着典型的淬灭电位。
在以超过OVF的电位的电荷量产生了电荷的情况下,超过部分的电荷越过OVF的势垒而移动至PIXRSD,并向复位漏极电源PIXRSD排出。
这样,如果电荷向APD101的阴极的积蓄结束,则摄像控制部24将转送晶体管103设定为导通。由此,如图3的(c)所示,TRN的势垒下降,APD101的阴极中积蓄的电荷经由转送晶体管103被分配给浮动扩散部110。
在图3的(c)中,电位Vq’是在图3的(b)的积蓄工序中在APD101的阴极积蓄了通常的饱和电荷量的电荷(与淬灭电位Vq对应的电荷)的情况下被分配给浮动扩散部110的电荷的电位。以下将该电位Vq’称为基准积蓄电位。在此,在图3的(b)的工序中,在APD101的阴极中以超过典型的饱和电荷量的电荷量积蓄了电荷,因此被分配给浮动扩散部110的电荷量也如图3的(c)所示,成为稍稍超过基准积蓄电位Vq’的电荷量。与饱和电荷量的偏差相应地,与图3的(c)的工序中积蓄的电荷量相应的电压也相对于典型的基准积蓄电位Vq’在离散±σ’的范围内偏差。以下,只要没有特别言及,“基准积蓄电位Vq’”意味着与典型的淬灭电位Vq对应的基准积蓄电位。
其后,摄像控制部24将转送晶体管103切换为关断,进而将FD复位晶体管104设定为半开。由此,如图3的(d)所示,TRN的势垒上升,RST的势垒下降。
在此,摄像控制部24以RST的势垒成为基准积蓄电位Vq’的方式设定对FD复位晶体管104的栅极施加的电压。由此,如图3的(d)所示,浮动扩散部110被分配的电荷之中的超过基准积蓄电位Vq’的部分的电荷越过RST的势垒而移动至RSD。即,超过基准积蓄电位Vq’的部分的电荷经由FD复位晶体管104向复位漏极电源RSD排出。由此,浮动扩散部110中积蓄的电荷被固定为一定量(与基准积蓄电位Vq’相应的量)。
其后,摄像控制部24将FD复位晶体管104设定为关断。由此,RST的势垒上升,浮动扩散部110中积蓄的电荷量确定为规定的电荷量(在此为与基准积蓄电位Vq’对应的电荷量)。然后,摄像控制部24将选择晶体管106设定为导通,将与浮动扩散部110中积蓄的电荷量对应的电压信号向垂直信号线Vsig输出。由此,像素单元100中的检测信号的输出完成。
这样,在输出了检测信号之后,摄像控制部24进行将APD101的阴极和浮动扩散部110中分别积蓄的电荷复位的初始化处理。即,摄像控制部24将APD复位晶体管102和FD复位晶体管104设定为导通。
由此,如图4的(a)所示,OVF及RST的势垒下降,APD101的阴极和浮动扩散部110中分别积蓄的电荷经由APD复位晶体管102及FD复位晶体管104向复位漏极电源PIXRSD及复位漏极电源RSD排出。其后,摄像控制部24反复执行图3的(a)~(d)及图4的(a)的处理,持续进行像素单元100中的检测信号的输出。
此外,在图3的(d)的找平工序中,FD复位晶体管104被设定为半开的情况下的势垒的高度被设定为与基准积蓄电位Vq’相同的电位,但半开时的势垒的高度不限于此。例如,如图4的(b)所示,浮动扩散部110被分配的电荷的电位相对于基准积蓄电位Vq’可能偏差的范围在将离散设为σ时能够表现为Vq’±σ。也可以将半开时的势垒的高度设定为包含该离散在内的最大值、即相对于基准积蓄电位Vq’高+σ的电位。
在该情况下,找平工序后在浮动扩散部110中残留的电荷的量虽然比图3的(d)的情况减少,但能够将找平工序后在浮动扩散部110中残留的电荷的量更可靠地固定为一定量。另外,FD复位晶体管104半开的情况下的势垒的高度也可以被设定为比基准积蓄电位Vq’加上偏差而得到的电位稍高,或者也可以被设定为偏差的范围内的其他电位。
其中,为了将找平工序后在浮动扩散部110中残留的电荷的量更可靠地固定为一定量,优选将FD复位晶体管104半开的情况下的势垒的高度设定为基准积蓄电位Vq’以上,更优选设定为基准积蓄电位Vq’加上偏差而得到的电位以上。
图4的(c)是用于执行上述处理的流程图。
首先,摄像控制部24执行针对像素单元100的初始化(S11)。由此,各部的电位被设定为图4的(a)的状态,将APD101的阴极及浮动扩散部110的电荷复位。接下来,摄像控制部24在将各部的电位设定为图3的(a)的初始状态之后,进行曝光,使APD101的阴极积蓄电荷(S12)。此外,在该工序中反射光未向APD101入射的情况下,在APD101的阴极中不积蓄电荷。
其后,摄像控制部24将转送晶体管103设定为导通(S13)。由此,如图3的(c)所示,APD101的阴极中积蓄的电荷被分配给浮动扩散部110。然后,摄像控制部24将转送晶体管103设定为关断(S14),进而,将FD复位晶体管104设定为半开(S15)。由此,如图3的(d)所示,多余的电荷从浮动扩散部110经由APD复位晶体管102向复位漏极电源PIXRSD排出。
其后,摄像控制部24将FD复位晶体管104设定为关断(S16),进而,将选择晶体管106设定为导通(S17)。由此,与浮动扩散部110中积蓄的电荷量相应的电压作为检测信号向垂直信号线Vsig输出。这样,针对像素单元100的1个时序结束。
其后,摄像控制部24使处理返回至步骤S11,反复进行同样的处理。在各时序中反射光向APD101入射的情况下,与基准积蓄电位Vq’对应的电压作为检测信号从像素单元100向摄像控制部24输出。在反射光未向APD101入射的情况下,在图3的(c)的转送工序中,从APD101的阴极向浮动扩散部110不转送电荷。在该情况下,即使由于噪声等引起的电荷被积蓄在APD101的阴极中,通过在转送工序中设定的转送晶体管103的势垒,也防止了该电荷被分配给浮动扩散部110。
此外,在图3的(d)的找平工序中,在TRN的势垒上升的状态下,RST的势垒下降至基准积蓄电位Vq’,但也可以在图3的(c)的转送工序的期间,RST的势垒下降至基准积蓄电位Vq’,进行超过基准积蓄电位Vq’的部分的电荷的找平。由此,能够同时进行电荷的转送和电荷的找平。在该情况下,省略图3的(d)的找平工序。
或者,也可以在图3的(b)的积蓄工序的期间,TRN的势垒和RST的势垒分别下降至图3的(c)、(d)的电平。由此,在APD101的阴极中积蓄电荷的期间,能够同时进行电荷向浮动扩散部110的转送、以及超过基准积蓄电位Vq’的部分的电荷的找平。在该情况下,省略图3的(c)的转送工序和图3的(d)的找平工序。
如果向摄像控制部24输入了被输出至垂直信号线Vsig的检测信号,则摄像控制部24向信号处理部25发送从各像素单元100顺次输入的检测信号。信号处理部25基于接收到检测信号的定时与使光源11出射发光脉冲的定时之间的时间差,测定距各像素单元100所对应的位置处存在的物体的距离。这样,测定距目标区域中存在的物体的距离。
在此,从各像素单元100向摄像控制部24输出的检测信号即使通过上述的找平工序变得均一,也可能由于电路部的特性等而发生变动。例如,在图3的(d)的找平工序中,RST的势垒的电平可能由于FD复位晶体管104的电特性等而按每个像素单元100发生微妙的变动。
在本实施方式中,进一步在信号处理部25设置用于针对检测信号像这样按每个像素单元100偏差的情况进行校正的构成。
图5是表示信号处理部25的构成的图。
信号处理部25具备ADC201、切换部202、偏差计算部203、表存储部204、校正运算部205和中央处理部206。
ADC201将从摄像控制部24输入的每个像素单元100的模拟的检测信号转换为数字信号。切换部202通过来自中央处理部206的控制,将从ADC201输入的数字的检测信号向偏差计算部203和校正运算部205中的某一方输出。
偏差计算部203基于从切换部202输入的1画面量的检测信号(来自全部像素单元100的检测信号),计算来自各像素单元100的检测信号的偏差。表存储部204将表示由偏差计算部203计算的各像素单元100中的检测信号的偏差的数据与各像素单元100建立对应地存储。由此,表存储部204构成按每个像素单元100将偏差数据建立对应的校正表。
校正运算部205基于表存储部204中保持的校正表对从切换部202输入的各像素的检测信号进行校正,并将校正后的检测信号向中央处理部206输出。中央处理部206依照规定的程序对各部进行控制。另外,中央处理部206如上所述,对发光控制部13及摄像控制部24进行控制,执行对距物体的距离进行测定的处理。
例如,中央处理部206设定与不同的距离建立了对应的n个(例如20个)区间。中央处理部206在各区间中,从区间开始起以相同定时使光源11进行脉冲发光。另外,中央处理部206在各区间中,在从脉冲发光的定时起经过了光往返与各区间建立了对应的距离的时间长度后的定时,使各像素单元100以一定期间进行曝光。由此,在物体存在于与这些区间之中的规定的区间建立了对应的距离的位置的情况下,在该区间中像素单元100接受来自物体的反射光,而在其他区间中像素单元100未接受反射光。因此,通过按每个像素单元100检测在哪个区间中产生了检测信号,能够按每个像素单元取得距物体的距离。
即,中央处理部206在全部n个区间中对来自各像素单元100的检测信号进行对照,按每个像素单元100确定其中产生了检测信号的区间。然后,中央处理部206取得与所确定的区间建立了对应的距离,作为距处于向该像素单元100入射的反射光的光线方向上的物体的距离。
此外,距离的测定方法不限于上述的方法,也可以是使用TOF(飞行时间(Time OfFlight))的其他方法。
中央处理部206也可以生成将像这样按每个像素单元100取得的距离映射至各像素单元100的位置而成的距离图像,也可以将该距离图像向其他处理装置输出。
此外,图5所示的构成既可以通过软件的功能来实现,或者也可以通过硬件的组合来实现。在图5所示的构成通过软件的功能来实现的情况下,图5的各构成作为功能模块表示由该软件执行的各功能。另外,在图5所示的构成通过硬件的功能来实现的情况下,图5的各构成对应于各硬件的构成。图5的构成也可以通过基于软件的功能与硬件的组合来实现。
在通常动作时,中央处理部206将切换部202设定至校正运算部205侧。由此,从ADC201向切换部202输入的检测信号向校正运算部205输入。在该情况下,由校正运算部205校正后的检测信号向中央处理部206输入,用于测距的处理。
在校正表的更新动作时,中央处理部206将切换部202设定至偏差计算部203侧。由此,从ADC201向切换部202输入的检测信号向偏差计算部203输入。在该情况下,由偏差计算部203计算的偏差数据与各像素单元100建立对应地登记至校正表。由此,对校正表进行更新。
图6的(a)是表示在校正表的更新动作时由信号处理部25执行的处理的流程图。
中央处理部206首先判定是否满足了校正表的更新条件(S21)。
图7是判定是否满足校正表的更新条件的流程图。
中央处理部206在从上次更新时起通过通常动作进行了规定帧数的处理的情况下(S31:是)、在从上次更新时经过了规定时间的情况下(S32:是)、在包含固体摄像元件23的温度在内的温度范围相对于上次更新时的温度范围发生了变化的情况下(S33:是)、以及在暗计数率(暗电流的大小)从基准值的范围偏离而修正了基板电压的情况(S34:是)下,判定为满足了校正表的更新条件(S35)。
为了执行步骤S32的处理,中央处理部206具备计时功能。另外,为了执行步骤S33的处理,中央处理部206具备从用于检测固体摄像元件23的温度的温度传感器取得检测信号的功能。在该情况下,摄像装置20不仅具备图1的构成,还具备用于检测固体摄像元件23的温度的温度传感器(未图示)。
此外,在图7中表示了步骤S31~S34作为校正表的更新条件,但更新条件不一定限定于这些条件,只要是从各像素单元100输出的检测信号的偏差程度可能变动的条件,也可以追加其他条件,或者也可以仅是步骤S31~S34之中的1个或者2个条件。另外,步骤S31、S32中的规定帧数及规定时间典型地通过设想固体摄像元件23的历时变化而设定,但也可以不一定设定多帧的规定帧数或比较长的时间。例如,为了更可靠地对偏差进行校正,步骤S31的规定帧数也可以是1帧。
返回至图6的(a),如果满足了校正表的更新条件(S21:是),则中央处理部206向摄像控制部24发送电控制指示(S22)。电控制指示是使与光子向APD101入射的情况同样的电荷以电方式积蓄至浮动扩散部110、并发送检测信号的指示。在进行图3的(d)的找平工序的情况下,与基准积蓄电位Vq’对应的电荷基于电控制指示被积蓄至浮动扩散部110。
具体而言,摄像控制部24响应于接收到电控制指示,将图2所示的复位漏极电源PIXRSD设定为比与APD101的饱和电荷量对应的电位稍高的电位,并将APD复位晶体管102设定为导通。由此,在APD101的阴极积蓄与图3的(b)同样的电荷。其后,摄像控制部24执行图3的(c)、(d)的转送工序及找平工序。由此,在浮动扩散部110中积蓄与基准积蓄电位Vq’对应的电荷。然后,摄像控制部24执行使与浮动扩散部110中积蓄的电荷相应的电压(检测信号)向垂直信号线Vsig输出的工序。由此,向摄像控制部24输出与基准积蓄电位Vq’相同电位的检测信号。摄像控制部24将输入的检测信号向信号处理部25转送。
摄像控制部24响应于接收到电控制指示而执行的控制不限于上述的控制,也可以是至少能够确认向垂直信号线Vsig输出的检测信号的偏差的其他控制。
例如,摄像控制部24也可以响应于接收到电控制指示,进行将图2所示的复位漏极电源RSD设定为比基准积蓄电位Vq’稍高的电位,并将FD复位晶体管104设定为导通的控制。由此,在浮动扩散部110中,积蓄与比基准积蓄电位Vq’稍高的电位对应的电荷量的电荷。其后,摄像控制部24执行图3的(d)的找平工序。由此,在浮动扩散部110中积蓄与基准积蓄电位Vq’对应的电荷。然后,摄像控制部24执行将与浮动扩散部110中积蓄的电荷相应的电压(检测信号)向垂直信号线Vsig输出的工序。由此,向摄像控制部24输出与基准积蓄电位Vq’相同电位的检测信号。
摄像控制部24响应于接收到电控制指示,对于全部像素单元100依次执行上述的处理。由此,来自各像素单元100的检测信号顺次从摄像控制部24向信号处理部25输出。此时,图5的切换部202如上述那样被设定至偏差计算部203侧。因此,来自各像素单元100的检测信号顺次向偏差计算部203输出。这样,偏差计算部203针对全部像素单元100取得检测信号(S23)。
偏差计算部203基于所取得的全部像素单元100的检测信号,计算检测信号的基准值V0(S24)。
图8的(a)、(b)是说明偏差计算部203中的基准值V0的计算方法的图。
图8的(a)示意地表示从各像素单元100取得的检测信号的状态。在此,以各像素单元100被附加的阴影表示从各像素单元100取得的检测信号的电压电平。在图8的(a)中,为了方便,像素单元100在每行每列各配置10个。在此,除了几个像素单元100之外,检测信号的电压电平大致相同。在几个像素单元100中,与剩余的大部分的像素单元100相比,检测信号的电压电平较高或者较低。
在图6的(a)的步骤S24中,偏差计算部203如图8的(b)所示,基于从全部像素单元100取得的检测信号,生成直方图(统计分布图)300。图6的(a)的横轴表示检测信号的电压值。偏差计算部203从生成的直方图300中取得众数、即频数最大的电压值,并将取得的众数设定为基准值V0。
此外,在步骤S24中计算的基准值V0不限于众数,只要是能够指示从全部像素单元100取得的检测信号的整体性倾向的值,也可以是其他值。例如,也可以计算直方图300的中位数作为基准值V0,或者也可以计算从全部像素单元100取得的检测信号的平均值作为基准值V0。
返回至图6的(a),偏差计算部203如上述那样,取得用于决定从全部像素单元100输出的与光子的计数数量相应的检测信号的基准值V0,并基于取得的基准值,计算各像素单元的检测信号的偏差(S25)。具体而言,偏差计算部203计算基准值与各像素单元100的检测信号之间的差量、即检测信号减去基准值而得到的值,作为各像素单元100的检测信号的偏差。偏差计算部203将计算的偏差向表存储部204输出。表存储部204使输入的偏差与各像素单元100建立对应地存储至校正表(S26)。由此,校正表的更新处理结束。
在通常动作时,校正运算部205针对从ADC201向切换部202输入的各像素单元100的检测信号,加上校正表中存储的各像素单元100的偏差,对各像素单元100的检测信号进行校正。通过该校正,在各像素单元100接受了反射光的情况下,在信号处理部25的校正运算部205中,来自全部像素单元100的检测信号变得均一。校正运算部205将校正后的检测信号向中央处理部206输出。这样,在中央处理部206中顺利地进行测距的处理。
此外,在图6的(a)的处理中,在步骤S22中,通过电控制在浮动扩散部110中积蓄了电荷,但也可以使来自标准光源(入射光子数已知的光源)的光向各像素单元100入射,来使电荷积蓄至浮动扩散部110。
在该情况下,图6的(a)的流程图如图6的(b)那样变更。在图6的(b)的流程图中,图6的(a)的步骤S22被置换为步骤S22’。步骤S22’以外的步骤与图6的(a)同样。
在步骤S22’中,中央处理部206向发光控制部13及摄像控制部24发送光学性控制指示。中央处理部206在步骤S21的判定为“是”之后的通常动作中,对来自各像素单元100的检测信号进行监视,在处于全部像素单元100中接受了反射光的状态的定时,发送光学性控制指示。
发光控制部13如果接收到光学性控制指示,则使光源11以规定强度进行脉冲发光。此时的发光强度既可以与通常动作时的发光强度相同,或者也可以被设定得比通常动作时的发光强度高,以使全部像素单元100更可靠地接受反射光。
摄像控制部24如果接收到光学性控制指示,则以规定时间使全部像素单元100进行曝光。由此,在全部像素单元100的APD101的阴极中积蓄电荷。其后,摄像控制部24针对全部像素单元100执行图3的(a)~(d)的处理工序,进而使全部像素单元100输出检测信号。由此,来自全部像素单元100的检测信号向信号处理部25输入。
此时,图5的切换部202与上述同样被设定至偏差计算部203侧。由此,来自全部像素单元100的检测信号向偏差计算部203输入(S23)。在来自某一个像素单元100的检测信号是未接受反射光时的电压电平的情况下,也可以再次执行步骤S22’的处理。
以下,与图6的(a)的流程图同样执行步骤S24~S26的处理。由此,对校正表进行更新。在其后的通常动作中,校正运算部205使用更新后的校正表,对来自各像素单元100的检测信号进行校正。
此外,通过进行图6的(a)、(b)的处理,抑制了来自各像素单元100的检测信号的偏差,因此图3的(d)的找平工序也可以不一定进行。但是,在不进行图3的(d)的找平工序的情况下,向信号处理部25输入的来自各像素单元100的检测信号的偏差变大。因此可以设想到,基准值V0与各检测信号的差量容易从真值偏离。因此,为了更准确地对差量进行检测并适当地使检测信号变得均一,优选在进行了图3的(d)的找平工序的基础上进行图6的(a)、(b)的均一化处理。
<实施方式1的效果>
根据实施方式1,能够起到以下的效果。
在对从各像素单元100输出的检测信号进行处理的信号处理部25中,计算从像素单元100输出的检测信号的偏差,并基于计算出的偏差,对从各像素单元100输出的检测信号进行校正。由此,不设置反馈电路就能够对来自各像素单元100的检测信号的偏差进行校正。
偏差计算部203基于从全部像素单元100输出的检测信号,取得用于决定从这些像素单元100输出的与光子的计数数量相应的检测信号的基准值V0,基于基准值V0与各像素单元100的检测信号的差量,计算与各像素单元100对应的偏差。由此,能够顺利地计算各检测信号的偏差。
信号处理部25具备按每个像素单元100存储基准值V0与检测信号的差量的表存储部204。由此,能够从表存储部204中存储的校正表容易地取得各像素单元100的偏差。
校正运算部205按每个像素单元100将差量与检测信号相加来进行检测信号的校正。由此,能够顺利地使来自各像素单元100的检测信号变得均一。
在图6的(a)的流程图中,偏差计算部203在通过针对多个像素单元100的电控制来使电荷虚拟地积蓄的情况(S22)下,基于从各像素单元100输出的检测信号计算偏差。由此,能够在任意的定时顺利地计算来自各像素单元100的检测信号的偏差。
在图6的(b)的流程图中,偏差计算部203在通过针对多个像素单元100的光照射来使电荷虚拟地积蓄的情况(S22’)下,基于从各像素单元100输出的检测信号计算偏差。像这样,通过对在实际上照射了光的情况下从各像素单元100输出的检测信号进行评价,能够准确地计算检测信号的偏差。
如图7所示,偏差计算部203在满足了规定的更新条件(S31~S34)的情况下,进行偏差的计算,并更新各像素单元100中的偏差。像这样,通过与偏差的变动要因的产生相应地更新偏差的检测结果,能够更适当地对来自各像素单元100的检测信号进行校正。
<实施方式1的变更例1>
在上述实施方式1中,在校正表的更新时,偏差计算部203仅进行了1次的偏差计算。相对于此,在变更例1中,在校正表的更新时,偏差计算部203进行多次的偏差计算。
图9是表示变更例1所涉及的在校正表的更新动作时由信号处理部25执行的处理的流程图。
在图9的流程图中,与图6的(a)的流程图相比,追加了步骤S27~S29。其他步骤的处理与图6的(a)的情况同样。
表存储部204按每个像素单元100存储步骤S25中由偏差计算部203计算的来自各像素单元100的检测信号的偏差(S27)。其后,中央处理部206判定是否进行了预定的多次(例如5~10次左右)的偏差的计算及存储(S28)。在该处理尚未进行多次的情况下(S28:否),中央处理部206使处理返回至步骤S22。由此,将每次的偏差按每个像素单元100存储至表存储部204。
这样,如果执行了规定的多次的偏差的计算及存储(S28:是),则表存储部204按每个像素单元100对每次处理中存储的偏差取平均(S29),并使平均后的值与各像素单元100建立对应地存储至校正表(S26)。这样,对校正表进行更新。在其后的通常动作中,校正运算部205使用更新后的校正表,对来自各像素单元100的检测信号进行校正。
此外,在步骤S29的处理中,也可以将大为偏离其他检测信号的值的检测信号从取平均的对象中排除。由此,能够抑制噪声的影响,能够使平均后的检测信号的值接近于真值。
另外,步骤S29中的取平均的处理也可以在校正运算部205中进行。在该情况下,表存储部204将通过每次偏差计算而计算出的来自各像素单元100的检测信号的偏差,作为校正表来存储。即,在该情况下,在表存储部204中存储多个校正表。校正运算部205在通常动作时,参照这多个校正表,计算各像素单元100的检测信号的偏差的平均值,并基于计算的平均值对来自各像素单元100的检测信号进行校正。
根据本变更例1,基于多次的偏差,针对来自各像素单元100的检测信号进行偏差的校正,因此能够抑制用于校正的偏差的值由于噪声等而从真值偏离。由此,能够更适当地使来自各像素单元100的检测信号变得均一。
<实施方式1的变更例2>
在上述实施方式1中,表存储部204被配置于信号处理部25。相对于此,在本变更例2中,表存储部204被配置于固体摄像元件23的传感器芯片400内。
图10是示意性地表示变更例2所涉及的传感器芯片400的构成的图。
如图10所示,在传感器芯片400中除了固体摄像元件23之外,还搭载了摄像控制部24和表存储部204作为电路部(集成电路)的构成。在该构成中,经由被配置于传感器芯片400的外周的端子(未图示),将表存储部204及摄像控制部24与信号处理部25连接。
根据该构成,例如能够使在制造时取得的检测信号的偏差的初始值预先存储至传感器芯片400侧的表存储部204。也可以还将偏差计算部203或校正运算部205配置在传感器芯片400侧。
<实施方式2>
在上述实施方式1中,将通过1次动作时序积蓄至浮动扩散部110的电荷转换为电压,并向垂直信号线Vsig输出。相对于此,在实施方式2中,将通过多次动作时序积蓄至浮动扩散部110的电荷积累在存储器部中之后,将存储器部的电荷转换为电压,并向垂直信号线Vsig输出。即,在实施方式2中,在多次动作时序中,根据存储器部中积蓄的电荷量,对反射光(光子)向APD101入射的次数进行计数。存储器部中积蓄的电荷量,成为与反射光(光子)向APD101入射的次数对应的电荷量。
图11是表示实施方式2所涉及的像素单元100的构成的图。
在实施方式2中,相对于图2的构成,追加了计数晶体管107和存储器部108。存储器部108是积蓄电荷的电容器。计数晶体管107将浮动扩散部110与存储器部108连接。通过向计数晶体管107的栅极施加计数信号CNT,将浮动扩散部110中积蓄的电荷经由计数晶体管107向存储器部108转送。
存储器部108的电容比浮动扩散部110的电容大。例如,存储器部108的电容被设定为浮动扩散部110的电容的5倍左右。但是,存储器部108的电容的设定方法不限于此,能够适用各种设定方法。
图12的(a)~(d)及图13的(a)~(d)是说明像素单元100的动作时序的图。
在图12的(a)~(d)及图13的(a)~(d)中,表示了从图11的复位漏极电源PIXRSD经由APD复位晶体管102、转送晶体管103、浮动扩散部110、计数晶体管107向存储器部108连接的电路部分的电势图。纵轴的箭头的方向是低电位的方向。
在图12的(a)~(d)及图13的(a)~(d)中,“PIXRSD”、“APD”、“FD”与图3的(a)~(d)同样分别表示复位漏极电源PIXRSD的电位、APD101的阴极的电位及浮动扩散部110的电位。另外,“OVF”及“TRN”与图3的(a)~(d)同样分别表示APD复位晶体管102的电位及转送晶体管103的电位。另外,“MEM”表示存储器部108的电位,CNT表示计数晶体管107的电位。
在实施方式2中,在各动作时序中,也在进行了图4的(a)的初始化工序之后,执行图3的(a)~(d)的工序,在浮动扩散部110中积蓄电荷。如上述实施方式1所述,也可以执行与转送工序同时进行找平工序的控制,或者也可以执行与积蓄工序同时进行找平工序和转送工序的控制。
图12的(a)表示在进行了图3的(d)的找平工序之后,将FD复位晶体管104设定为关断的状态。此时,计数晶体管107被设定为关断,在CNT产生了势垒。
其后,摄像控制部24将计数晶体管107设定为导通。由此,如图12的(b)所示,CNT的势垒消失,浮动扩散部110中积蓄的电荷被分配给存储器部108。这样,在向存储器部108分配(转送)了电荷之后,摄像控制部24将计数晶体管107设定为关断。由此,如图12的(c)所示,在CNT产生势垒,存储器部108中积蓄的电荷量确定为与1次光子入射对应的电荷量。
这样,如果用于向存储器部108积蓄电荷的1个时序结束,则摄像控制部24执行下一时序。由此,执行图3的(a)~(d)的动作。此时,如果反射光(光子)向APD101入射,则如图12的(d)所示,在浮动扩散部110中积蓄与基准积蓄电位Vq’对应的电荷量。
与上述同样,摄像控制部24将计数晶体管107设定为导通。由此,如图13的(a)所示,CNT的势垒消失,浮动扩散部110中积蓄的电荷被分配给存储器部108。由此,存储器部108中积蓄的电荷量增加与1次光子计数相应的电荷量。其后,摄像控制部24将计数晶体管107设定为关断。由此,如图13的(b)所示,在CNT产生势垒,存储器部108中积蓄的电荷量确定为与2次光子入射对应的电荷量。
摄像控制部24以预先决定的次数反复进行同样的时序。由此,在各时序中,在反射光(光子)每次向APD101入射时,在存储器部108中积累与1次光子计数相应的电荷量的电荷。这样,如果预先决定的次数的时序结束,则在存储器部108中积蓄例如图13的(c)所示的电荷量的电荷。
其后,摄像控制部24将计数晶体管107设定为导通。由此,如图13的(d)所示,CNT的势垒消失,存储器部108中积蓄的电荷被分配给浮动扩散部110。然后,摄像控制部24将选择晶体管106设定为导通。由此,与存储器部108中积蓄的电荷相应的电压作为检测信号向垂直信号线Vsig输出。该检测信号成为与反射光(光子)向APD101入射的次数相应的大小。
图14的(a)是用于执行上述处理的流程图。
摄像控制部24针对像素单元100执行从初始化到找平的工序(S41)。在该工序中,如果反射光(光子)向APD101入射,则如图12的(a)所示,在浮动扩散部110中积蓄与1次光子计数相应的电荷量的电荷。
接下来,摄像控制部24将计数晶体管107设定为导通(S42)。由此,如图12的(b)所示,浮动扩散部110中积蓄的电荷被分配给存储器部108。然后,摄像控制部24将计数晶体管107设定为关断(S43)。由此,如图12的(c)所示,存储器部108被分配的电荷确定。
其后,摄像控制部24以预先决定的次数反复进行步骤S41~S43的时序(S44)。如果该次数的时序结束(S44:是),则摄像控制部24将计数晶体管107设定为导通(S45)。由此,将存储器部108中积累的电荷分配给浮动扩散部110。然后,摄像控制部24将选择晶体管106以规定时间设定为导通,使与浮动扩散部110的电荷量相应的电压向垂直信号线Vsig输出(S46)。
这样,在使与光子的计数数量相应的电压值的检测信号向垂直信号线Vsig输出之后,摄像控制部24将FD复位晶体管104设定为导通,来使浮动扩散部110及存储器部108中积蓄的电荷向复位漏极电源RSD排出(S47)。由此,用于光子计数的1个时序结束。其后,摄像控制部24使处理返回至步骤S41,反复进行同样的处理。
此外,实施方式2的构成例如适宜用于摄像装置20被搭载于向目标区域照射光并测定目标区域的反射率的测定装置的情况。在该情况下,如果目标区域中存在的物体的反射率低,则例如10次脉冲发光之中的仅几次的反射光(光子)向APD101入射。即,在各像素单元100中取得的光子的计数数量(与存储器部108中积蓄的电荷量相应的电压)可以对应于物体的反射率。因此,测定装置基于从摄像装置20输入的各像素单元100的检测信号、即与光子的计数数量相应的电压(与存储器部108中积蓄的电荷量相应的电压),能够测定与各像素单元100对应的目标区域上的位置的反射率。由此,测定装置能够生成将反射率映射到目标区域上的与各像素单元100对应的位置而成的图像。
但是,在从各像素单元100向摄像控制部24输出的检测信号(与光子的计数数量相应的电压)中,可能按每个像素单元100产生偏差。即,即使在图14的(a)的步骤S41中,浮动扩散部110的电荷通过找平工序而变得均一之后,被积蓄至存储器部108,也可能由于电路部的特性等,在每次时序中积蓄至存储器部108的电荷量按每个像素单元100发生变动。例如,在找平工序时,RST的势垒的电平可能由于FD复位晶体管104的电特性等而按每个像素单元100发生微妙的变动。
在该情况下,由于该微妙的变动在存储器部108中累积,即使在各像素单元100中对相同的光子进行了计数,在这些像素单元100间,存储器部108中积蓄的电荷量也会产生大的差异。由此,从各像素单元100输出的检测信号(与光子的计数数量相应的电压)中产生偏差。
图14的(b)是表示像素单元100中的光子的计数数量与输出电压之间的关系的一例的图表。在此,为了方便,图表针对3个像素单元A、B、C表示。
如图14的(b)所示,随着光子的计数数量增加,像素单元A、B、C间的输出电压(检测信号)的差异变大。如果计数数量成为15次,则如图14的(b)中箭头所示,像素单元A、B、C间的输出电压(检测信号)的差异变得相当大。像这样,如果输出电压产生了差异,则即使输出电压相同,结果也成为计数数量相互不同。因此,难以基于输出电压准确地取得光子的计数数量。
于是,在本实施方式2中,在信号处理部25中设置有如下构成,其用于在检测信号(与光子的计数数量相应的电压)像这样按每个像素单元100偏差的情况下,也适当地根据检测信号取得光子的计数数量。
图15是表示实施方式2所涉及的信号处理部25的构成的图。
信号处理部25具备ADC501、切换部502、相关提取部503、相关存储部504、计数数量取得部505和中央处理部506。
ADC501将从摄像控制部24输入的每个像素单元100的模拟的检测信号(与光子的计数数量相应的电压)转换为数字信号。切换部502通过来自中央处理部206的控制,将从ADC501输入的数字的检测信号向相关提取部503和计数数量取得部505中的某一方输出。
相关提取部503按每个像素单元100提取光子的计数数量与检测信号(与存储器部108中积蓄的电荷相应的电压)的相关关系。相关存储部504按每个像素单元100存储由相关提取部503提取的相关关系。计数数量取得部505基于相关存储部504中存储的相关关系,取得与从各像素单元100输出的检测信号对应的计数数量,并将取得的计数数量向中央处理部506输出。
此外,图15所示的构成既可以通过软件的功能来实现,或者也可以通过硬件的组合来实现。在图15所示的构成通过软件的功能来实现的情况下,图15的各构成作为功能模块表示由该软件执行的各功能。另外,在图15所示的构成通过硬件的功能来实现的情况下,图15的各构成对应于各硬件的构成。图15的构成也可以通过基于软件的功能与硬件的组合来实现。
在通常动作时,中央处理部506将切换部502设定至计数数量取得部505侧。由此,从ADC501向切换部502输入的检测信号向计数数量取得部505输入。在该情况下,由计数数量取得部505基于检测信号以及相关存储部504中存储的相关关系取得的计数数量向中央处理部506输入,用于反射率测定等处理。
在相关关系的更新动作时,中央处理部506将切换部502设定至相关提取部503侧。由此,从ADC501向切换部502输入的检测信号向相关提取部503输入。在该情况下,由相关提取部503提取的相关关系按每个像素单元100存储至相关存储部504。在此,将计数数量与检测信号建立了对应的相关表按每个像素单元100存储至相关存储部504。由此,对计数数量与检测信号的相关关系进行更新。
图16的(a)是表示在相关关系的更新动作时由信号处理部25执行的处理的流程图。
中央处理部206首先判定是否满足了相关关系的更新条件(S51)。该判定例如与图7的流程图同样进行。与上述实施方式1同样,更新条件不限于图7的步骤S31~S34的条件。
如果满足了相关关系的更新条件(S51:是),则中央处理部206对变量K设定1(S52),将虚拟电压输出指示向摄像控制部24发送(S53)。虚拟电压输出指示是使计数数量为K次的情况下的电荷量的电荷虚拟地积蓄至存储器部108、并使与该电荷量相应的检测信号(电压)从像素单元100虚拟地输出的指示。
与其相应,摄像控制部24执行使计数数量为K次的情况下的电荷量的电荷虚拟地积蓄至图11的存储器部108的虚拟积蓄工序、以及使与积蓄的电荷相应的电压向垂直信号线Vsig输出的虚拟输出工序。
例如,在虚拟积蓄工序中,摄像控制部24对图11的复位漏极电源PIXRSD和APD复位晶体管102进行控制,执行使饱和电荷量的电荷积蓄至APD101的阴极的处理,进而执行使积蓄的电荷向浮动扩散部110转送的工序、以及将转送的电荷找平为与基准积蓄电位Vq’相应的电荷量的工序。然后,摄像控制部24执行图12的(a)~(c)的工序,将浮动扩散部110中虚拟地积蓄的电荷向存储器部108转送。在虚拟积蓄工序中,摄像控制部24反复K次进行以上的工序。由此,与光子的计数数量为K次的情况等价的电荷量的电荷被积蓄至存储器部108。
在虚拟积蓄工序中摄像控制部24所执行的控制不限于上述的控制,也可以是至少能够将与光子的计数数量为K次的情况等价的电荷量的电荷积累至存储器部108的其他控制。
例如,在虚拟积蓄工序中,摄像控制部24也可以进行将图11所示的复位漏极电源RSD设定为与基准积蓄电位Vq’同等的电位、并将FD复位晶体管104设定为导通的控制。由此,在浮动扩散部110中,积蓄对应于与基准积蓄电位Vq’同等的电位的电荷量的电荷。其后,摄像控制部24在执行了找平工序的基础上,使浮动扩散部110的电荷向存储器部108转送。在虚拟积蓄工序中,摄像控制部24反复K次进行以上的工序。由此,与光子的计数数量为K次的情况等价的电荷量的电荷被积蓄至存储器部108。
或者,在虚拟积蓄工序中,摄像控制部24也可以进行将图11所示的复位漏极电源RSD设定为与光子的计数数量为K次的情况等价的电荷量的电位、并将FD复位晶体管104及计数晶体管107设定为导通的控制。由此,与光子的计数数量为K次的情况等价的电荷量的电荷被积蓄至存储器部108。
此外,也可以与图6的(b)的情况同样,以光学方式向浮动扩散部110进行虚拟的电荷的积蓄。
这样,在执行了虚拟积蓄工序之后,摄像控制部24执行使与存储器部108中虚拟地积蓄的电荷相应的电压向垂直信号线Vsig输出的虚拟输出工序。具体而言,摄像控制部24在将图11的计数晶体管107设定为导通来将存储器部108中积蓄的电荷向浮动扩散部110转送之后,以规定时间将选择晶体管106设定为导通,使与浮动扩散部110中积蓄的电荷量相应的电压(虚拟的检测信号)向垂直信号线Vsig输出。
摄像控制部24响应于接收到虚拟电压输出指示,对于全部像素单元100依次执行上述的虚拟积蓄工序和虚拟输出工序。由此,来自各像素单元100的虚拟的检测信号顺次从摄像控制部24向信号处理部25输出。此时,图15的切换部502如上述那样被设定至相关提取部503侧。因此,来自各像素单元100的虚拟的检测信号在相关提取部503中顺次被计算。这样,相关提取部503针对全部像素单元100取得检测信号(S54)。
相关提取部503将各像素单元100的检测信号的电压值与计数值(与变量K相同的值)建立对应,并存储至相关存储部504中保持的相关表(S55)。
图16的(b)是表示相关表的构成的图。
按每个像素单元100准备相关表。相关表是将计数值与电压值建立对应的表。在步骤S55中,相关提取部503将各像素单元100的检测信号的电压值向相关存储部504输出。相关存储部504将输入的各像素单元100的电压值与计数值(与变量K相同的值)建立对应,并存储至对应的像素单元100的相关表。
这样,如果存储了相关表,则中央处理部506判定变量K是否达到了设定次数N(S56)。在此,设定次数N是预先设定的计数值的上限。即,对光子进行计数的范围的上限是设定次数N。在变量K未达到设定次数N的情况下(S56:否),中央处理部506对变量K加1(S57),并使处理返回至步骤S53。由此,通过步骤S53、S54的处理,按每个像素单元100取得与加1后的计数值对应的检测信号(电压),并在步骤S55中将取得的检测信号的电压值存储至相关表。
这样,计数值为1~N时的电压值按每个像素单元100存储至相关表。由此,如果步骤S56的判定为“是”,则中央处理部506结束相关表的更新处理。
此外,通过进行图16的(a)的处理,提取来自各像素单元100的检测信号与计数值的相关关系,因此在相关表的更新处理及通常动作中,也可以不一定进行图3的(d)的找平工序。但是,通过进行图3的(d)的找平工序来抑制与各计数值对应的检测信号(电压)的偏差,能够更准确地提取相关关系。
<实施方式2的效果>
根据实施方式2,能够获得以下的效果。
通过预先执行相关关系的更新处理,提取由APD101接受的光子的计数数量与像素单元100的检测信号之间的相关关系(相关表)并存储至相关存储部504。然后,在通常动作时,由计数数量取得部505基于该相关关系(相关表)取得与来自各像素单元100的检测信号相应的计数数量。由此,即使来自各像素单元100的检测信号中产生了偏差,不设置反馈电路也能够适当地取得光子的计数数量。
相关提取部503按每个像素使得对计数数量与检测信号的相关关系进行规定的相关表存储至相关存储部504。由此,计数数量取得部505仅从相关表读出与通常动作时输入的来自各像素单元100的检测信号(电压值)对应的计数数量即可,能够通过简化的处理顺利地取得计数数量。
如参照图16的(a)所述,相关提取部503在使与各计数数量对应的电荷虚拟地积蓄至像素单元100的存储器部108的情况下,基于从各像素单元100输出的检测信号设定相关表。更详细而言,如图16的(b)所示,在使与各计数数量对应的电荷虚拟地积蓄至像素单元100的存储器部108的情况下,将从各像素单元100输出的检测信号的值(电压值)与该计数数量建立对应并登记至相关表。像这样,通过在更新表的设定中使用虚拟的积蓄处理,能够在期望的定时顺利地更新相关表。
<实施方式2的变更例1>
在上述实施方式2中,在相关表的更新处理中,从各像素单元100输出的检测信号(电压值)被原样登记至相关表。相对于此,在变更例1中,预先准备多个种类的将计数值与电压值建立对应的相关表。然后,将这多个种类的相关表之中的与在相关表的更新处理中从各像素单元100输出的检测信号(电压值)和计数值的相关关系最匹配的相关表,设定为用于该像素单元100的相关表。
图17的(a)是表示实施方式2的变更例1所涉及的在相关关系的更新动作时由信号处理部25执行的处理的流程图。
图17的(a)的流程图中,将图16的(a)的流程图的步骤S55置换为步骤S58,并新追加了步骤S59。其他步骤的处理与图16的(a)的对应步骤的处理同样。
在步骤S58中,相关提取部503将来自各像素单元100的检测信号的电压值与计数数量(与变量K相同的值)建立对应,并存储至相关存储部504。通过反复进行步骤S53~S57的处理直到变量K达到了设定次数N为止,按每个像素单元100将全部计数数量与电压值相互建立对应,并存储至相关存储部504。
这样,如果变量K达到了设定次数N(S56:是),则相关提取部503将在步骤S53~S57中通过处理而存储至相关存储部504的各像素单元100的计数数量和电压值的数据群,与相关存储部504中预先存储的多个种类的相关表进行对照,并将与各像素单元100的数据群最匹配的相关表设定为用于各像素单元100的相关表(S59)。在此,匹配的判定例如通过如下方法进行:按每个计数数量求出数据群侧的电压值与相关表侧的电压值之间的差量,并将这些差量被合计而得到的值最小的相关表,判定为最匹配的相关表。但是,匹配的判定方法不限于此,也可以使用其他判定方法。
相关提取部503将像这样按每个像素单元100设定的相关表的识别信息与像素单元100建立对应,并存储至相关存储部504。其后,相关存储部504删除通过步骤S53~S57的处理而存储的数据群。
图17的(b)是表示在图17的(a)的步骤S59中存储至相关存储部504的信息的图。
如图17的(b)所示,在相关存储部504中,用于各像素单元100的相关表的识别信息与各像素单元100建立对应地存储。在通常动作时,在计数数量取得部505中,参照图17的(b)的对应表,确定用于各像素单元100的相关表。计数数量取得部505使用所确定的相关表,与上述实施方式2同样,按每个像素单元100取得与检测信号(电压值)相应的计数数量,并将取得的计数数量向中央处理部506输出。
根据该构成,不需要事先针对全部像素单元100个别地制作并存储相关表,因此能够抑制通常动作时的相关存储部504的存储容量的消耗。即,在通常动作时,相关存储部504仅存储预先设定的多个种类的相关表、以及按每个像素单元100建立了对应的相关表的识别信息即可。由此,与上述实施方式2相比,能够显著地抑制相关存储部504中的容量消耗。
此外,相关存储部504中预先存储的相关表只要准备能够应对各像素单元100中可能产生的检测信号(电压值)的偏差的模式即可。例如,相关表可以准备10种左右。
<实施方式2的变更例2>
在上述实施方式2中,通过相关表来规定检测信号与计数数量的相关关系。相对于此,在变更例2中,通过相关函数来规定检测信号与计数数量的相关关系。
图18的(a)是表示实施方式2的变更例2所涉及的在相关关系的更新动作时由信号处理部25执行的处理的流程图。
图18的(a)的流程图中,将上述实施方式2的变更例1所涉及的图17的(a)的流程图的步骤S59置换为步骤S60。其他步骤的处理与图17的(a)的对应步骤的处理同样。
反复N次执行步骤S53、S54、S58、S57的处理,如果步骤S56的判定为“是”,则如上述那样,按每个像素单元100将全部计数数量与电压值相互建立对应,并存储至相关存储部504。
其后,相关提取部503基于在步骤S53~S57中通过处理而存储至相关存储部504的各像素单元100的计数数量和电压值的数据群,按每个像素单元100,生成对计数数量与电压值的相关关系进行规定的相关函数(S60)。相关提取部503保持着用于生成该相关函数的算法。
相关提取部503将像这样按每个像素单元100设定的相关函数与像素单元100建立对应,并存储至相关存储部504。相关提取部503也可以存储作为基础的相关函数、以及按每个像素单元100设定的相关系数。其后,相关存储部504删除通过步骤S53~S57的处理而存储的数据群。
图18的(b)是示意性地表示图18的(a)的步骤S60中存储至相关存储部504的相关函数的图。在此,为了方便,表示了3个像素单元A、B、C的相关函数。
在图18的(b)中,横轴的计数数量被设定为变量x。为了根据输出电压y求出计数数量x,将相关函数作为逆函数表示。在通常动作时,在计数数量取得部505中,确定图18的(b)所例示的各像素单元100的相关函数。计数数量取得部505使用所确定的相关函数,按每个像素单元100计算与检测信号(电压值)相应的计数数量,并将计算的计数数量向中央处理部506输出。
根据该构成,在相关存储部504中仅存储各像素单元100的相关函数即可,因此与上述实施方式2相比,能够显著地抑制通常动作时的相关存储部504的存储器容量的消耗。
此外,在图18的(a)的步骤S60中,按每个像素单元100生成了相关函数,但也可以替代于此,预先准备多个种类的相关函数,并在步骤S60中进行将与各像素单元100中的检测信号和计数数量的相关关系最匹配的相关函数与各像素单元100建立对应的处理。
<实施方式3>
在上述实施方式2中,摄像装置20被用于物体的反射率的测定装置,但在实施方式3中,摄像装置20被用于距离测定装置。说明利用了上述实施方式2所记载的摄像装置20的距离测定装置2的整体情况。
图19是表示实施方式3所涉及的距离测定装置2的构成例的框图。在图19的构成中,发光装置10以外的构成模块对应于摄像装置20。
在实施方式3中,摄像控制部24对投射光装置10进行控制。摄像控制部24对发光控制部13进行控制以使光源11进行脉冲发光,并且对固体摄像元件23进行控制以从各像素单元100输出检测信号。像素信号输出部601针对从各像素单元100输出至垂直信号线Vsig的检测信号,实施放大、噪声去除及A/D转换等处理并输出。
相关提取部603与上述实施方式2及其变更例同样,取得从各像素单元100输出的检测信号(电压值)与计数值的相关关系,并使取得的相关关系存储至相关存储部604。计数数量取得部605与上述实施方式2及其变更例同样,基于相关存储部604中存储的相关关系,将从各像素单元100输出的检测信号(电压值)转换为计数值。
信号处理运算部606基于从计数数量取得部605输入的各像素单元100的计数值,生成距离图像及亮度图像。生成的距离图像及亮度图像适宜地向其他信息处理装置输出。
以下说明图19的距离测定装置2中的距离图像及亮度图像的生成处理。
摄像控制部24通过反复进行N(N为3以上的整数)次的脉冲状的发光及曝光的组,摄像将测距范围分割而成的N(N为3以上的整数)个划分距离所对应的N个划分图像。在此,测距范围是从距离测定装置2到被摄体的可测定的整个距离范围。例如,测距范围被设定为0~Dmax(m)。N个区间距离例如是将测距范围N等分而得到的部分距离范围。此外,N个划分距离不限于N等分,也可以是将距离范围不均等地分割而成的部分距离范围。例如,也可以与距离测定装置2的测定对象及测定环境相应地,将N个划分距离决定为包含较小的距离范围的划分距离和较大的距离范围的划分距离。
摄像控制部24向发光控制部13供给发光控制信号,向固体摄像元件23供给曝光控制信号,由此对光源11及固体摄像元件23进行控制以摄像N个划分图像。具体而言,摄像控制部24以对每1帧的距离图像生成N组的发光脉冲及曝光脉冲的组的方式生成发光控制信号及曝光控制信号,由此对光源11及固体摄像元件23进行控制。
摄像控制部24在第1测定期间(Tm1)~第N测定期间(TmN)中,以发光定时与曝光定时的时间差逐渐变大的方式生成曝光脉冲。发光定时与曝光定时的时间差对应于产生了在该测定期间中由固体摄像元件23接受的反射光的被摄体的距离(距离范围)。也就是说,在该测定期间中接受了反射光的情况下,从距离测定装置2到被摄体的距离对应于该时间差。
即,摄像控制部24在测定期间Tmk中生成指示在时隙Tsk的区间曝光的曝光脉冲。在此,k为1~N的任一个整数。
例如,摄像控制部24在第1测定期间Tm1中生成指示在时隙Ts1的区间曝光的曝光脉冲。固体摄像元件23生成通过在时隙Ts1中曝光而得到的图像作为划分图像#1,并保持于存储器。例如,在将各时隙的期间假定为10nS的情况下,固体摄像元件23在时隙Ts1中能够接受从脉冲发光开始起10nS以内出现的反射光,但无法接受其后出现的反射光。也就是说,根据下式(1),在时隙Ts1中,固体摄像元件23能够接受来自处于划分距离#1=0~1.5m的距离范围的被摄体的反射光,而无法接受来自处于划分距离#1以外的被摄体的反射光。
2×L1<10nS×c……(1)
在此,c为光速(3×108m/s)。L1表示划分距离#1的距离范围。2×L1是照射光的往返距离。
像这样,在第1测定期间Tm1中接受了来自被摄体的反射光的情况下,意味着被摄体处于划分距离#1(例如0~1.5m)的范围内的距离。
同样,摄像控制部24在第k测定期间Tmk中生成指示在时隙Tsk的区间曝光的曝光脉冲。固体摄像元件23生成通过在时隙Tsk中曝光而得到的图像作为划分图像#k。例如,在各时隙的期间为10nS的情况下,在第k测定期间Tmk中,固体摄像元件23能够接受在时隙Tsk的区间中出现的反射光,但无法接受该区间外出现的反射光。也就是说,根据下式(2),在第k测定期间Tmk中,固体摄像元件23能够接受来自处于距离范围Lk=((k-1)×1.5m到k×1.5m的距离范围)的被摄体的反射光,而无法接受来自处于其外的距离的被摄体的反射光。
(k-1)×10nS×c<2×Lk<k×10nS×c……(2)
在此,2×Lk为照射光的往返距离。
像这样,在第k测定期间Tmk中接受了来自被摄体的反射光的情况下,意味着被摄体处于划分距离#k(例如(k-1)×1.5m到k×1.5m的距离范围)内的距离。
在此,摄像控制部24为了取得1个划分图像,连续地反复多次(例如10次)进行发光和曝光。即,摄像控制部24连续多次执行第k测定期间的处理,并使电荷积蓄至图11所示的存储器部108。在像这样将电荷积蓄至存储器部108之后,如上述实施方式2所述,与存储器部108的电荷相应的电压值作为检测信号向垂直信号线Vsig输出。由此,取得与第k测定期间对应的划分图像#k。其后,摄像控制部24连续多次执行下一第k+1测定期间的处理,取得与第k+1测定期间对应的划分图像#k+1。摄像控制部24使顺次取得的划分图像存储至存储器部602。
在将像这样得到的N个划分图像存储至存储器部602之后,由计数数量取得部605将被映射至各划分图像的各像素位置的检测信号的信号值(电压值),转换为依据相关存储部604中保持的相关关系的计数数量。计数数量取得部605将转换后的计数数量向信号处理运算部606输出。由此,在信号处理运算部606中,按每个划分图像取得在各像素位置映射计数数量而得到的计数图像。
信号处理运算部606基于取得的各划分图像的计数图像,生成距离图像和亮度图像。距离图像通过信号处理运算部606的距离图像生成部606a的功能而生成。另外,亮度图像通过信号处理运算部606的亮度图像生成部606b的功能而生成。
距离图像生成部606a将各计数图像中映射的各像素的计数值与规定的阈值比较,对具有该阈值以上的计数值的像素赋予规定的颜色。在此,距离图像生成部606a按每个计数图像设定不同的颜色。例如,在从划分距离#1的距离图像#1取得的计数图像#1的情况下,对计数值超过阈值的像素赋予蓝色,在从划分距离#2的距离图像#2取得的计数图像#2的情况下,对计数值超过阈值的像素赋予淡蓝色。由此,按每个图像得到按每个距离赋予了不同颜色的图像。距离图像生成部606a将像这样取得的全部计数图像的图像合成为1帧的图像。由此,生成1帧量的距离图像。距离图像生成部606a将生成的距离图像向外部的信息处理装置等输出。
亮度图像生成部606a对于与上述同样取得的计数图像,对各像素设定与各像素的计数值的大小相应的亮度值,按每个计数图像生成亮度图像。亮度图像生成部606a将生成的各亮度图像向外部的信息处理装置等输出。此外,亮度图像生成部606a也可以将全部亮度图像合成来生成1帧量的亮度图像,并将生成的1帧量的亮度图像向外部的信息处理装置等输出。
<其他变更例>
以上说明了本发明的实施方式1、2及其变更例,但本发明不限定于上述实施方式1、2及其变更例,另外,本发明的实施方式除了上述实施方式1、2及其变更例以外也能够进行各种变更。
例如,在实施方式2中,也可以如图10所示,将摄像控制部24和相关存储部504安装于传感器芯片400。
另外,在实施方式2中,也可以与图9所示的实施方式1的变更例同样,对于同一像素单元100多次取得检测信号(电压值)和计数值的数据群,并将对取得的多个检测信号(电压值)按每个计数值取平均而得到的值登记至相关表。
另外,图3的(a)~(d)、图4的(a)、(b)、图12的(a)~(d)及图13的(a)、(b)所示的各部的电位、电容是一例,能够适宜变更为其他电位、电容。
另外,摄像装置20的构成不限于图1所示的构成,能够进行各种变更。例如,在不需要仅接受规定波长的光的情况下,可以省略滤光器22。信号处理部25的构成也能够适宜变更。
另外,摄像控制部24也可以还根据来自芯片外部的控制信号以更高的自由度进行控制。
另外,固体摄像装置1中包含的各处理部典型地以作为集成电路的LSI实现。其既可以个别地被单芯片化,也可以以包含一部分或者全部的方式被单芯片化。另外,集成电路化不限于LSI,也可以由专用电路或者通用处理器实现。也可以利用能够在制造LSI后编程的FPGA(现场可编程逻辑门阵列(Field Programmable Gate Array))、或者能够重构LSI内部的电路单元的连接、设定的可重构处理器。
另外,也可以将上述实施方式1~3所涉及的固体摄像装置及其变形例的功能之中的至少一部分组合。
另外,在上述说明中表示了使用MOS晶体管的例子,但也可以使用其他晶体管。
另外,在上述实施方式1中,摄像装置20被搭载于距离测定装置1,在实施方式2中,摄像装置20被用于反射率的测定装置,在实施方式3中,摄像装置20被用于距离测定装置2,但摄像装置20的适用方式不限于此。例如,本发明也可以适用于在医疗或放射线计测等领域中使用的摄像装置。
另外,本发明的实施方式在权利要求书所示的技术思想的范围内能够适宜地进行各种变更。
附图标记说明:
20……摄像装置
23……固体摄像元件
25……信号处理部
100……像素单元
101……雪崩光电二极管
203……偏差计算部
204……表存储部
205……校正运算部
503……相关提取部
505……计数数量取得部
V0……基准值。
Claims (13)
1.一种摄像装置,其特征在于,具备:
将多个像素单元以矩阵状配置而成的固体摄像元件;以及
信号处理部,对从所述各像素单元输出的检测信号进行处理,
所述像素单元具备雪崩光电二极管,
所述像素单元输出与由所述雪崩光电二极管接受的光子的计数数量相应的电压作为所述检测信号,
所述信号处理部具备:
偏差计算部,计算从所述各像素单元输出的检测信号在所述像素单元间的偏差;以及
校正运算部,基于由所述偏差计算部计算的偏差,对从所述各像素单元输出的检测信号进行校正。
2.如权利要求1所述的摄像装置,其特征在于,
所述偏差计算部取得用于决定从全部所述像素单元输出的与光子的计数数量相应的所述检测信号的基准值,基于所述基准值与所述各像素的所述检测信号之间的差量,计算与各像素单元对应的所述偏差。
3.如权利要求2所述的摄像装置,其特征在于,
所述基准值根据使从全部所述像素单元输出的所述检测信号成为直方图时的众数、中位数及平均值中的任一个决定。
4.如权利要求2或者3所述的摄像装置,其特征在于,
所述信号处理部还具备表存储部,该表存储部按每个所述像素单元存储所述基准值与所述检测信号之间的差量,
所述校正运算部按每个所述像素单元将所述差量与所述检测信号相加来进行所述检测信号的校正。
5.如权利要求1至4中任一项所述的摄像装置,其特征在于,
所述偏差计算部在通过针对所述多个像素单元的电控制来使电荷虚拟地积蓄的情况下,基于从所述各像素单元输出的所述检测信号,计算所述偏差。
6.如权利要求1至4中任一项所述的摄像装置,其特征在于,
所述偏差计算部在通过针对所述多个像素单元的光照射来使电荷虚拟地积蓄的情况下,基于从所述各像素单元输出的所述检测信号,计算所述偏差。
7.如权利要求1至6中任一项所述的摄像装置,其特征在于,
所述偏差计算部在不同的定时多次计算所述偏差,
所述校正运算部基于计算出的多次的所述偏差,针对来自所述各像素单元的所述检测信号进行所述偏差的校正。
8.如权利要求1至7中任一项所述的摄像装置,其特征在于,
所述偏差计算部在满足了规定的更新条件的情况下,进行所述偏差的计算,对所述各像素单元中的所述偏差进行更新。
9.一种摄像装置,其特征在于,具备:
将多个像素单元以矩阵状配置而成的固体摄像元件;以及
信号处理部,对从所述各像素单元输出的检测信号进行处理,
所述像素单元具备雪崩光电二极管,
所述像素单元输出与由所述雪崩光电二极管接受的光子的计数数量相应的电压作为所述检测信号,
所述信号处理部具备:
相关提取部,按每个所述像素提取所述计数数量与所述检测信号的相关关系;以及
计数数量取得部,基于由所述相关提取部提取的所述相关关系,取得与来自所述各像素单元的检测信号相应的所述计数数量。
10.如权利要求9所述的摄像装置,其特征在于,
所述相关提取部按每个所述像素设定对所述计数数量与所述检测信号的相关关系进行规定的相关表。
11.如权利要求10所述的摄像装置,其特征在于,
所述相关提取部在使与各计数数量对应的电荷虚拟地积蓄至所述像素单元的情况下,基于从所述各像素单元输出的所述检测信号,设定所述相关表。
12.如权利要求11所述的摄像装置,其特征在于,
所述相关提取部预先保持多个种类的所述相关表,将相关关系与从所述各像素单元输出的所述检测信号与所述计数数量的相关关系最接近的所述相关表,与所述各像素建立对应。
13.如权利要求9所述的摄像装置,其特征在于,
所述相关提取部在使与各计数数量对应的电荷虚拟地积蓄至所述像素单元的情况下,基于从所述各像素单元输出的所述检测信号,按每个所述像素设定对所述计数数量与所述检测信号的相关关系进行规定的相关函数。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-163238 | 2019-09-06 | ||
JP2019163238 | 2019-09-06 | ||
PCT/JP2020/029235 WO2021044771A1 (ja) | 2019-09-06 | 2020-07-30 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114270807A true CN114270807A (zh) | 2022-04-01 |
CN114270807B CN114270807B (zh) | 2024-05-14 |
Family
ID=74852128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080059281.1A Active CN114270807B (zh) | 2019-09-06 | 2020-07-30 | 摄像装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220191424A1 (zh) |
JP (1) | JPWO2021044771A1 (zh) |
CN (1) | CN114270807B (zh) |
WO (1) | WO2021044771A1 (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103685994A (zh) * | 2014-01-03 | 2014-03-26 | 中国科学院上海高等研究院 | 图像传感器像素阵列固定模式噪声消除电路 |
US20160216381A1 (en) * | 2012-12-20 | 2016-07-28 | Sony Corporation | Imaging device, electronic apparatus and imaging method |
US20170126958A1 (en) * | 2014-09-03 | 2017-05-04 | Fujifilm Corporation | Imaging device, imaging device body, and lens barrel |
CN107592472A (zh) * | 2017-10-20 | 2018-01-16 | 上海晔芯电子科技有限公司 | 多段曝光图像传感器的成像校正方法 |
CN107615019A (zh) * | 2015-05-21 | 2018-01-19 | 富士胶片株式会社 | 红外线摄像装置及基于红外线摄像装置的信号校正方法 |
JP2018014573A (ja) * | 2016-07-19 | 2018-01-25 | キヤノン株式会社 | 撮像装置、放射線撮像システム、撮像装置の駆動方法およびプログラム |
CN107976667A (zh) * | 2016-11-04 | 2018-05-01 | 北京遥测技术研究所 | 一种用于全波形测量激光雷达的apd探测装置 |
CN108353135A (zh) * | 2015-10-29 | 2018-07-31 | 富士胶片株式会社 | 红外线摄像装置及基于红外线摄像装置的信号校正方法 |
JP2018182366A (ja) * | 2017-04-03 | 2018-11-15 | 株式会社日立国際電気 | 撮像装置及び暗電流変動の検出補正方法及び撮像装置調整方法 |
WO2018216400A1 (ja) * | 2017-05-25 | 2018-11-29 | パナソニックIpマネジメント株式会社 | 固体撮像素子、及び撮像装置 |
WO2019102637A1 (ja) * | 2017-11-24 | 2019-05-31 | 浜松ホトニクス株式会社 | フォトンカウンティング装置およびフォトンカウンティング方法 |
CN109997352A (zh) * | 2016-12-27 | 2019-07-09 | 松下知识产权经营株式会社 | 摄像装置、相机以及摄像方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4370127B2 (ja) * | 2002-08-29 | 2009-11-25 | オリンパス株式会社 | 光走査型顕微鏡及び顕微鏡用測光装置 |
WO2014097519A1 (ja) * | 2012-12-18 | 2014-06-26 | パナソニック株式会社 | 半導体光検出器 |
US9299732B2 (en) * | 2013-10-28 | 2016-03-29 | Omnivision Technologies, Inc. | Stacked chip SPAD image sensor |
US10852183B2 (en) * | 2015-11-19 | 2020-12-01 | Sony Semiconductors Solutions Corporation | Optical pulse detection device, optical pulse detection method, radiation counter device, and biological testing device |
JP2018091760A (ja) * | 2016-12-05 | 2018-06-14 | 株式会社豊田中央研究所 | 光学測定装置、光学測定方法、及び光学測定プログラム |
-
2020
- 2020-07-30 JP JP2021543658A patent/JPWO2021044771A1/ja active Pending
- 2020-07-30 WO PCT/JP2020/029235 patent/WO2021044771A1/ja active Application Filing
- 2020-07-30 CN CN202080059281.1A patent/CN114270807B/zh active Active
-
2022
- 2022-03-01 US US17/683,465 patent/US20220191424A1/en active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160216381A1 (en) * | 2012-12-20 | 2016-07-28 | Sony Corporation | Imaging device, electronic apparatus and imaging method |
CN103685994A (zh) * | 2014-01-03 | 2014-03-26 | 中国科学院上海高等研究院 | 图像传感器像素阵列固定模式噪声消除电路 |
US20170126958A1 (en) * | 2014-09-03 | 2017-05-04 | Fujifilm Corporation | Imaging device, imaging device body, and lens barrel |
CN107615019A (zh) * | 2015-05-21 | 2018-01-19 | 富士胶片株式会社 | 红外线摄像装置及基于红外线摄像装置的信号校正方法 |
CN108353135A (zh) * | 2015-10-29 | 2018-07-31 | 富士胶片株式会社 | 红外线摄像装置及基于红外线摄像装置的信号校正方法 |
JP2018014573A (ja) * | 2016-07-19 | 2018-01-25 | キヤノン株式会社 | 撮像装置、放射線撮像システム、撮像装置の駆動方法およびプログラム |
CN107976667A (zh) * | 2016-11-04 | 2018-05-01 | 北京遥测技术研究所 | 一种用于全波形测量激光雷达的apd探测装置 |
CN109997352A (zh) * | 2016-12-27 | 2019-07-09 | 松下知识产权经营株式会社 | 摄像装置、相机以及摄像方法 |
JP2018182366A (ja) * | 2017-04-03 | 2018-11-15 | 株式会社日立国際電気 | 撮像装置及び暗電流変動の検出補正方法及び撮像装置調整方法 |
WO2018216400A1 (ja) * | 2017-05-25 | 2018-11-29 | パナソニックIpマネジメント株式会社 | 固体撮像素子、及び撮像装置 |
CN107592472A (zh) * | 2017-10-20 | 2018-01-16 | 上海晔芯电子科技有限公司 | 多段曝光图像传感器的成像校正方法 |
WO2019102637A1 (ja) * | 2017-11-24 | 2019-05-31 | 浜松ホトニクス株式会社 | フォトンカウンティング装置およびフォトンカウンティング方法 |
Non-Patent Citations (1)
Title |
---|
程万胜;赵杰;蔡鹤皋;: "CCD像素响应非均匀的校正方法", 光学精密工程, no. 02 * |
Also Published As
Publication number | Publication date |
---|---|
WO2021044771A1 (ja) | 2021-03-11 |
JPWO2021044771A1 (zh) | 2021-03-11 |
US20220191424A1 (en) | 2022-06-16 |
CN114270807B (zh) | 2024-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108139268B (zh) | 光学脉冲检测装置、光学脉冲检测方法、辐射计数装置和生物测试装置 | |
US20200351464A1 (en) | Image sensor | |
US11221253B2 (en) | System with a SPAD-based semiconductor device having dark pixels for monitoring sensor parameters | |
EP2135492B1 (en) | Compact cmos-based x-ray detector adapted for dental applications | |
US11243314B2 (en) | Radiation imaging apparatus and radiation imaging system | |
US11159738B2 (en) | Imaging devices with single-photon avalanche diodes having sub-exposures for high dynamic range | |
CN113218504A (zh) | 具有单光子雪崩二极管和环境光水平检测的成像系统 | |
KR20170073949A (ko) | 매크로 픽셀의 노이즈를 제어하는 뎁스 센서, 3차원 카메라 및 제어 방법 | |
TW202112122A (zh) | 距離影像攝像裝置及距離影像攝像方法 | |
US20220350024A1 (en) | Distance image capturing device and distance image capturing method | |
CN114584757A (zh) | 一种简易式ccd满阱测试方法 | |
US20220182572A1 (en) | Imaging device | |
US11252349B2 (en) | Radiation detection apparatus, control method of the same, and radiation imaging system | |
CN114270807B (zh) | 摄像装置 | |
US11122213B2 (en) | Imaging apparatus | |
EP4283253A1 (en) | Distance image capturing device and distance image capturing method | |
US20230341568A1 (en) | Radiation detector, radiation imaging system, radiation image processing method, and storage medium | |
JP7253846B2 (ja) | 距離画像センサ及び距離画像撮像装置 | |
WO2024100760A1 (ja) | 距離画像撮像装置、及び距離画像撮像方法 | |
US20230358889A1 (en) | Range imaging device and range imaging method | |
CN116868087A (zh) | 距离图像摄像装置及距离图像摄像方法 | |
JP2022112388A (ja) | 距離画像撮像装置、及び距離画像撮像方法 | |
CN118160320A (zh) | 成像元件及测距装置 | |
JP2022191793A (ja) | 距離画像撮像装置及び距離画像撮像方法 | |
JP2023160729A (ja) | 放射線検出器、放射線撮像システム、放射線画像処理方法及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |