CN118158506A - 距离图像摄像装置以及距离图像摄像方法 - Google Patents

距离图像摄像装置以及距离图像摄像方法 Download PDF

Info

Publication number
CN118158506A
CN118158506A CN202311653027.6A CN202311653027A CN118158506A CN 118158506 A CN118158506 A CN 118158506A CN 202311653027 A CN202311653027 A CN 202311653027A CN 118158506 A CN118158506 A CN 118158506A
Authority
CN
China
Prior art keywords
accumulation
timing
charge
distance
charges
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311653027.6A
Other languages
English (en)
Inventor
柜冈祥之
中込友洋
畠山邦广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Takahashi Holdings Co ltd
Original Assignee
Takahashi Holdings Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2023183197A external-priority patent/JP2024082236A/ja
Application filed by Takahashi Holdings Co ltd filed Critical Takahashi Holdings Co ltd
Publication of CN118158506A publication Critical patent/CN118158506A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明涉及距离图像摄像装置以及距离图像摄像方法。距离图像摄像装置为，对1帧设置多个蓄积循环，控制成，在多个蓄积循环中，在比像素具备的电荷蓄积部的数量多的蓄积定时中的任意定时，向电荷蓄积部分别蓄积电荷，控制成，在1帧中使电荷蓄积部分别蓄积电荷的次数的合计即合计次数相同，控制成，在多个蓄积循环中的特定蓄积循环中使多个电荷蓄积部中的特定电荷蓄积部蓄积电荷的蓄积定时即第一蓄积定时与在多个蓄积循环中的与特定蓄积循环不同的其他蓄积循环中使特定电荷蓄积部蓄积电荷的蓄积定时即第二蓄积定时的时间差分，成为与使电荷蓄积部分别蓄积电荷的蓄积时间不同的时间。

Description

距离图像摄像装置以及距离图像摄像方法
技术领域
本发明涉及距离图像摄像装置以及距离图像摄像方法。
本申请主张2022年12月7日在日本提出申请的特愿2022－195502号以及2023年10月25日在日本提出申请的特愿2023－183197号的优先权，并将这些申请的内容援用于此。
背景技术
利用光的速度为已知这一情况、基于测定空间中的光的飞行时间来对测定器与对象物的距离进行测定的飞行时间(Time of Flight，以下称为“TOF”)方式的距离图像摄像装置已经实现(例如参照日本专利第6676866号公报)。在这种距离图像摄像装置中，为了扩大测距范围而对同一电荷蓄积部设置多次使其蓄积电荷的蓄积定时。
通过设置多次蓄积定时，能够在到被摄体的距离较近的情况下在较早的蓄积定时蓄积反射光成分的电荷，在到被摄体的距离较远的情况下在较迟的蓄积定时蓄积反射光成分的电荷。由此，能够对近距离至远距离的较大范围进行测定。
然而，在日本专利第6676866号公报中，为了使所有电荷蓄积部中蓄积的背景光成分的电荷量一致，需要在与能够测定的范围不同的定时使电荷蓄积部蓄积背景光成分的电荷。因此，存在测定所需的时间变多这样的问题。
发明内容
本发明是基于上述课题而完成的，其目的在于提供不使测定所需的时间增多就能够扩大能够测定的范围的距离图像摄像装置以及距离图像摄像方法。
本发明的距离图像摄像装置为，具备：光源部，向测定空间照射光脉冲；受光部，具有像素以及像素驱动电路，所述像素具备产生与所入射的光相应的电荷的光电转换元件以及蓄积电荷的多个电荷蓄积部，所述像素驱动电路在与照射所述光脉冲的照射定时同步的规定的蓄积定时向所述电荷蓄积部分别分配电荷并使其蓄积；以及距离图像处理部，基于所述电荷蓄积部分别蓄积的电荷量，计算出到存在于所述测定空间的被摄体的距离，所述距离图像处理部为，对1帧设置多个蓄积循环，控制成，在所述多个蓄积循环中，在比所述像素具备的所述电荷蓄积部的数量多的所述蓄积定时中的任意定时，向所述电荷蓄积部分别蓄积电荷，控制成，在1帧中使所述电荷蓄积部分别蓄积电荷的次数的合计即合计次数相同，控制成，在所述多个蓄积循环中的特定蓄积循环中使所述多个电荷蓄积部中的特定电荷蓄积部蓄积电荷的所述蓄积定时即第一蓄积定时、与在所述多个蓄积循环中的与所述特定蓄积循环不同的其他蓄积循环中使所述特定电荷蓄积部蓄积电荷的所述蓄积定时即第二蓄积定时的时间差分，成为与使所述电荷蓄积部分别蓄积电荷的蓄积时间不同的时间。
在本发明的距离图像摄像装置中，所述距离图像处理部控制成，相比于所述照射定时的差分较小的所述蓄积定时，所述差分较大的所述蓄积定时在1帧中蓄积电荷的合计时间变多。
本发明的距离图像摄像方法为，由距离图像摄像装置进行，所述距离图像摄像装置具备：光源部，向测定空间照射光脉冲；受光部，具有像素以及像素驱动电路，所述像素具备产生与所入射的光相应的电荷的光电转换元件以及蓄积电荷的多个电荷蓄积部，所述像素驱动电路在与照射所述光脉冲的照射定时同步的规定的蓄积定时向所述电荷蓄积部分别分配电荷并使其蓄积；以及距离图像处理部，基于所述电荷蓄积部分别蓄积的电荷量，计算到存在于所述测定空间的被摄体的距离，其中，所述距离图像处理部为，对1帧设置多个蓄积循环，控制成，在所述多个蓄积循环中，在比所述像素具备的所述电荷蓄积部的数量多的所述蓄积定时中的任意定时，向所述电荷蓄积部分别蓄积电荷，控制成，在1帧中使所述电荷蓄积部分别蓄积电荷的次数的合计即合计次数相同，控制成，在所述多个蓄积循环中的特定蓄积循环中使所述多个电荷蓄积部中的特定电荷蓄积部蓄积电荷的所述蓄积定时即第一蓄积定时、与在所述多个蓄积循环中的与所述特定蓄积循环不同的其他蓄积循环中使所述特定电荷蓄积部蓄积电荷的所述蓄积定时即第二蓄积定时的时间差分，成为与使所述电荷蓄积部分别蓄积电荷的蓄积时间不同的时间。
发明的效果
根据本发明，不使测定所需的时间增多就能够扩大能够测定的范围。
附图说明
图1是表示实施方式的距离图像摄像装置1的概略构成的框图。
图2是表示实施方式的距离图像传感器32的概略构成的框图。
图3是表示实施方式的像素321的构成的一个例子的电路图。
图4是表示驱动第一实施方式的像素321的定时的时序图。
图5是表示驱动第一实施方式的像素321的定时的时序图。
图6是表示驱动第一实施方式的像素321的定时的时序图。
图7是用于说明第一实施方式的距离图像处理部4进行的处理的图。
图8是表示第一实施方式的距离图像处理部4进行的处理的流程的流程图。
图9是表示驱动第一实施方式的像素321的定时的时序图。
图10是表示驱动第一实施方式的像素321的定时的时序图。
图11是表示驱动第一实施方式的像素321的定时的时序图。
图12是用于说明第一实施方式的距离图像处理部4进行的处理的图。
图13是表示驱动第一实施方式的变形例所涉及的像素321的定时的时序图。
图14是表示驱动第一实施方式的变形例所涉及的像素321的定时的时序图。
图15是表示驱动第一实施方式的变形例所涉及的像素321的定时的时序图。
图16是表示驱动第一实施方式的变形例所涉及的像素321的定时的时序图。
图17是表示驱动第一实施方式的变形例所涉及的像素321的定时的时序图。
附图标记说明
1…距离图像摄像装置
2…光源部
3…受光部
32…距离图像传感器
321…像素
323…垂直扫描电路
4…距离图像处理部
41…定时控制部
42…距离运算部
43…测定控制部
CS…电荷蓄积部
PO…光脉冲
具体实施方式
以下，参照附图对实施方式的距离图像摄像装置进行说明。
图1是表示实施方式的距离图像摄像装置的概略构成的框图。距离图像摄像装置1例如具备光源部2、受光部3、以及距离图像处理部4。在图1中还同时示出在距离图像摄像装置1中测定距离的对象物即被摄体OB。
光源部2根据来自距离图像处理部4的控制，向在距离图像摄像装置1中测定距离的对象的被摄体OB所存在的测定对象的空间照射光脉冲PO。光源部2例如是垂直腔面发射激光器(VCSEL：Vertical Cavity Surface Emitting Laser)等面发光型的半导体激光模块。光源部2具备光源装置21以及扩散板22。
光源装置21是发出成为向被摄体OB照射的光脉冲PO的近红外波段(例如波长为850nm～940nm的波段)的激光的光源。光源装置21例如是半导体激光发光元件。光源装置21根据来自定时控制部41的控制而发出脉冲状的激光。
扩散板22是将光源装置21发出的近红外波段的激光向所希望的照射区域扩散的光学部件。扩散板22扩散后的脉冲状的激光，作为光脉冲PO而射出，并照射到被摄体OB。
受光部3为，对由在距离图像摄像装置1中测定距离的对象的被摄体OB反射的光脉冲PO的反射光RL进行受光，并输出与所受光的反射光RL相应的像素信号。受光部3具备透镜31、以及距离图像传感器32。另外，在受光部3中，在透镜31与距离图像传感器32之间也可以具备带通滤波器(未图示)。带通滤波器进行频带限制。例如，带通滤波器将入射至透镜31的光中的处于规定频带的成分向距离图像传感器32射出，不将未处于规定频带的成分向距离图像传感器32射出。
透镜31是将所入射的反射光RL向距离图像传感器32引导的光学透镜。透镜31将所入射的反射光RL向距离图像传感器32侧射出，而使距离图像传感器32的受光区域中具备的像素受光(入射)。
距离图像传感器32是在距离图像摄像装置1中使用的摄像元件。距离图像传感器32在二维的受光区域中具备多个像素。在距离图像传感器32的各个像素中设置有一个光电转换元件、与该一个光电转换元件对应的多个电荷蓄积部、以及向各个电荷蓄积部分配电荷的构成要素。即，像素是向多个电荷蓄积部分配电荷并使其蓄积的分配构成的摄像元件。
距离图像传感器32根据来自定时控制部41的控制，将光电转换元件产生的电荷向各个电荷蓄积部分配。另外，距离图像传感器32输出与向电荷蓄积部分配的电荷量相应的像素信号。在距离图像传感器32中，多个像素配置为二维的矩阵状，输出各个像素的对应的1帧量的像素信号。
距离图像处理部4对距离图像摄像装置1进行控制，计算出到被摄体OB的距离。距离图像处理部4具备定时控制部41、距离运算部42、以及测定控制部43。
定时控制部41根据测定控制部43的控制，对输出测定所需的各种控制信号的定时进行控制。此处的各种控制信号例如是对光脉冲PO的照射进行控制的信号、使反射光RL向多个电荷蓄积部分配而蓄积的信号、对每1帧的蓄积次数进行控制的信号等。蓄积次数是指向电荷蓄积部CS(参照图3)分配电荷并使其蓄积的处理的重复次数。该蓄积次数与在分配而蓄积电荷的每1次处理中使各电荷蓄积部蓄积电荷的时间(蓄积时间)之积成为蓄积时间。
距离运算部42基于从距离图像传感器32输出的像素信号，输出对到被摄体OB的距离进行了运算的距离信息。距离运算部42基于多个电荷蓄积部所蓄积的电荷量，计算出从照射光脉冲PO起到对反射光RL进行受光为止的延迟时间。距离运算部42根据计算出的延迟时间来计算出到被摄体OB的距离。
测定控制部43对定时控制部41进行控制。例如，测定控制部43设定1帧中的蓄积次数以及蓄积时间，以按照所设定的内容进行摄像的方式对定时控制部41进行控制。
通过这种构成，在距离图像摄像装置1中，光源部2向被摄体OB照射的近红外波段的光脉冲PO被被摄体OB反射后的反射光RL由受光部3受光，距离图像处理部4计算出到被摄体OB的距离并输出距离信息。
另外，在图1中示出了距离图像处理部4设置在距离图像摄像装置1内部的构成的距离图像摄像装置1，但距离图像处理部4也可以是设置在距离图像摄像装置1外部的构成要素。
此处，使用图2对在距离图像摄像装置1中作为摄像元件使用的距离图像传感器32的构成进行说明。图2是表示在实施方式的距离图像摄像装置1中使用的摄像元件(距离图像传感器32)的概略构成的框图。
如图2所示，距离图像传感器32例如具备配置有多个像素321的受光区域320、控制电路322、具有分配动作的垂直扫描电路323、水平扫描电路324、以及像素信号处理电路325。
受光区域320是配置有多个像素321的区域，在图2中示出了按照8行8列配置为二维矩阵状的例子。像素321蓄积与所受光的光量相当的电荷。控制电路322总括地控制距离图像传感器32。控制电路322例如根据来自距离图像处理部4的定时控制部41的指示，对距离图像传感器32的构成要素的动作进行控制。另外，距离图像传感器32所具备的构成要素的控制也可以是由定时控制部41直接进行的构成，在该情况下也能够省略控制电路322。
垂直扫描电路323是根据来自控制电路322的控制，对受光区域320中配置的像素321按照行进行控制的电路。垂直扫描电路323将与像素321的电荷蓄积部CS分别蓄积的电荷量相应的电压信号向像素信号处理电路325输出。在该情况下，垂直扫描电路323将由光电转换元件转换后的电荷向像素321的电荷蓄积部分别分配而蓄积。即，垂直扫描电路323是“像素驱动电路”的一个例子。
像素信号处理电路325是根据来自控制电路322的控制，对从各个列的像素321向对应的垂直信号线输出的电压信号进行预先确定的信号处理(例如噪声抑制处理、A/D转换处理等)的电路。
水平扫描电路324是根据来自控制电路322的控制，使从像素信号处理电路325输出的信号向水平信号线依次输出的电路。由此，与蓄积了1帧量的电荷量相当的像素信号，经由水平信号线而向距离图像处理部4依次输出。
以下，设为像素信号处理电路325进行A/D转换处理、像素信号为数字信号的情况进行说明。
此处，使用图3对在距离图像传感器32所具备的受光区域320内配置的像素321的构成进行说明。图3是表示在实施方式的距离图像传感器32的受光区域320内配置的像素321的构成的一个例子的电路图。图3中示出在受光区域320内配置的多个像素321中的一个像素321的构成的一个例子。像素321是具备4个像素信号读出部的构成的一个例子。
像素321具备一个光电转换元件PD、漏极栅极晶体管GD、以及从对应的输出端子O输出电压信号的4个像素信号读出部RU。像素信号读出部RU分别具备读出栅极晶体管G、浮动扩散区FD、电荷蓄积容量C、复位栅极晶体管RT、源极跟随栅极晶体管SF、以及选择栅极晶体管SL。在各个像素信号读出部RU中，由浮动扩散区FD与电荷蓄积容量C构成电荷蓄积部CS。
另外，在图3中，在4个像素信号读出部RU的附图标记“RU”之后附加“1”、“2”、“3”或者“4”的数字，由此区分各个像素信号读出部RU。另外，同样，4个像素信号读出部RU所具备的各个构成要素，也通过将表示各个像素信号读出部RU的数字表示在附图标记之后，由此区分表示各个构成要素对应的像素信号读出部RU。
在图3所示的像素321中，从输出端子O1输出电压信号的像素信号读出部RU1具备读出栅极晶体管G1、浮动扩散区FD1、电荷蓄积容量C1、复位栅极晶体管RT1、源极跟随栅极晶体管SF1、以及选择栅极晶体管SL1。在像素信号读出部RU1中，由浮动扩散区FD1与电荷蓄积容量C1构成电荷蓄积部CS1。像素信号读出部RU2～RU4也是同样的构成。
光电转换元件PD是对所入射的光进行光电转换而产生电荷，并蓄积所产生的电荷的埋入型的光电二极管。光电转换元件PD的构造可以是任意的。光电转换元件PD例如可以是将P型半导体与N型半导体接合的构造的PN光电二极管，也可以是在P型半导体与N型半导体之间夹有I型半导体的构造的PIN光电二极管。
在像素321中，将光电转换元件PD对所入射的光进行光电转换而产生的电荷向4个电荷蓄积部CS分别分配，将与所分配的电荷的电荷量相应的各个电压信号向像素信号处理电路325输出。
距离图像传感器32中配置的像素的构成不限定于图3所示那样的具备4个像素信号读出部RU的构成，只要是具备多个像素信号读出部RU的构成的像素即可。即，距离图像传感器32中配置的像素所具备的像素信号读出部RU(电荷蓄积部CS)的数量可以为2个、可以为3个、也可以为5个以上。
另外，在图3所示的构成的像素321中，示出了电荷蓄积部CS由浮动扩散区FD与电荷蓄积容量C构成的一个例子。但是，电荷蓄积部CS至少由浮动扩散区FD构成即可，像素321也可以是不具备电荷蓄积容量C的构成。
另外，在图3所示的构成的像素321中，示出了具备漏极栅极晶体管GD的构成的一个例子，但在不需要将光电转换元件PD所蓄积(残留)的电荷废弃的情况下，也可以是不具备漏极栅极晶体管GD的构成。
此处，使用图4～图6对驱动像素321的定时进行说明。图4～图6是表示驱动第一实施方式的像素321的定时的时序图。
在本实施方式中，在1帧中设置有多个子帧。在以下的说明中，以在1帧中包括3个子帧即第一子帧、第二子帧以及第三子帧的情况为例进行说明，但1帧所包含的子帧的数量可以为2个、也可以为4个以上。
图4中示出了表示在第一子帧中驱动像素321的定时的时序图。图5中示出了表示在第二子帧中驱动像素321的定时的时序图。图6中示出了表示在第三子帧中驱动像素321的定时的时序图。
对图4～图6的定时信号进行说明。用“L”表示照射光脉冲PO的照射定时。另外，用“G1”表示通过驱动信号TX1使电荷蓄积部CS1蓄积电荷的蓄积定时(对读出栅极晶体管G1的开闭进行控制的定时)。同样，用“G2－G4”表示通过驱动信号TX2～TX4使电荷蓄积部CS2～CS4蓄积电荷的蓄积定时(对读出栅极晶体管G2～G4的开闭进行控制的定时)。用“GD”表示通过驱动信号RSTD使电荷排出的排出定时。
对图4～图6的时序图中的信号逻辑进行说明。各个定时信号用“High”电平或者“Low”电平表示。照射定时L示出了在成为“High”电平的定时照射光脉冲PO、在“Low”电平的情况下不照射光脉冲PO。蓄积定时G1～G4示出了在“High”的定时蓄积电荷、在“Low”的情况下不蓄积电荷。排出定时GD示出了在“High”的定时排出电荷、在“Low”的情况下不排出电荷。
如图4～图6所示，在各子帧设置有蓄积期间以及读出期间。在蓄积期间中，像素321被驱动，使设置于像素321的多个电荷蓄积部CS(电荷蓄积部CS1～CS4)分别蓄积电荷的循环(蓄积循环)被重复规定次数、例如1万次。在读出期间中，读出与电荷蓄积部CS分别蓄积的电荷量对应的蓄积信号。
如图4～图6所示，距离图像处理部4在各子帧的蓄积期间中，在6个蓄积定时TM1～TM6中的某个定时使电荷蓄积部CS中的某一个蓄积电荷。
蓄积定时TM1是从照射光脉冲PO的照射定时L的延迟时间为0(零)、与光脉冲PO的照射定时相同的定时。蓄积定时TM2是从照射光脉冲PO的照射定时L的延迟时间为时间To的定时。此处，时间To是照射光脉冲PO的照射时间。另外，此处，以蓄积电荷的蓄积时间与照射时间相同、即蓄积时间为时间To的情况为前提。
蓄积定时TM2是从照射光脉冲PO的照射定时L的延迟时间成为时间To的定时。蓄积定时TM3是从照射光脉冲PO的照射定时L的延迟时间成为时间To×2的定时。蓄积定时TM4是从照射光脉冲PO的照射定时L的延迟时间成为时间To×3的定时。蓄积定时TM5是从照射光脉冲PO的照射定时L的延迟时间成为时间To×4的定时。蓄积定时TM6是从照射光脉冲PO的照射定时L的延迟时间成为时间To×5的定时。
图4表示在第一子帧的蓄积期间中重复第一循环的例子。示出了在第一循环中在蓄积定时TM1～TM4使电荷蓄积部CS1～CS4分别依次蓄积电荷的例子。由此，能够在蓄积定时TM1～TM4中的某一个定时蓄积与所受光的反射光RL对应的电荷。在该情况下，能够测定出跨越蓄积定时TM1～TM2、蓄积定时TM2～TM3以及蓄积定时TM3～TM4而蓄积了与反射光RL对应的电荷的情况下的到被摄体OB的距离。
图5表示在第二子帧的蓄积期间中重复第二循环的例子。示出了在第二循环中在蓄积定时TM2～TM5使电荷蓄积部CS2、CS3、CS4、CS1分别依次蓄积电荷的例子。由此，能够在蓄积定时TM2～TM5中的某一个定时蓄积与所受光的反射光RL对应的电荷。在该情况下，能够测定出跨越蓄积定时TM2～TM3、蓄积定时TM3～TM4以及蓄积定时TM4～TM5而蓄积了与反射光RL对应的电荷的情况下的到被摄体OB的距离。即，能够测定出到存在于比第一子帧的情况更远处的被摄体OB的距离。
图6表示在第三子帧的蓄积期间中重复第三循环的例子。示出了在第三循环中在蓄积定时TM2、TM4～TM6使电荷蓄积部CS2、CS4、CS1、CS3分别依次蓄积电荷的例子。由此，能够在蓄积定时TM2、TM4～TM6中的某一个定时蓄积与所受光的反射光RL对应的电荷。在该情况下，能够测定出跨越蓄积定时TM4～TM5以及蓄积定时TM5～TM6而蓄积了与反射光RL对应的电荷的情况下的到被摄体OB的距离。即，能够测定出到存在于比第一子帧以及第二子帧的情况更远处的被摄体OB的距离。
如此，距离图像处理部4在各子帧中在蓄积定时TM1～TM6中的某一个定时使电荷蓄积部CS中的某一个蓄积电荷。由此，能够蓄积与来自存在于较远距离处的被摄体OB的反射光RL对应的电荷。因而，能够扩大能够测定的距离。
另外，距离图像处理部4控制成在1帧中使电荷蓄积部CS分别蓄积电荷的合计蓄积次数相同。例如，距离图像处理部4控制成，在各子帧中使电荷蓄积部CS1～CS4分别各蓄积1次电荷，1帧中的合计蓄积次数在电荷蓄积部CS1～CS4的全部中成为相同的3次。
或者，距离图像处理部4在第一子帧中使电荷蓄积部CS1蓄积2次电荷，使电荷蓄积部CS2～CS4分别各蓄积1次电荷，在第二子帧中使电荷蓄积部CS1蓄积0回电荷，使电荷蓄积部CS2～CS4分别各蓄积1次电荷，在第三子帧中使电荷蓄积部CS1～CS4分别各蓄积1次电荷。如此，距离图像处理部4控制成，1帧中的合计蓄积次数在电荷蓄积部CS1～CS4的全部中都成为3次。
如此，通过控制成在1帧中电荷蓄积部CS各自的合计蓄积次数相同，由此距离图像处理部4使各电荷蓄积部CS所蓄积的与背景光成分相当的电荷量成为同量。由此，能够容易地确定蓄积了与反射光RL对应的电荷的电荷蓄积部CS。
另外，距离图像处理部4控制成在各子帧中使特定的电荷蓄积部CS蓄积电荷的定时的时间差分不成为蓄积时间(此处为时间To)。
具体地控制成，在第一子帧中使电荷蓄积部CS1蓄积电荷的第一蓄积定时、与在第二子帧中使电荷蓄积部CS1蓄积电荷的第二蓄积定时之间的时间差分不成为蓄积时间。另外，控制成第一蓄积定时与在第三子帧中使电荷蓄积部CS1蓄积电荷的第三蓄积定时之间的时间差分不成为蓄积时间。另外，控制成第二蓄积定时与第三蓄积定时之间的时间差分成为与蓄积时间To不同的时间。
对于不是电荷蓄积部CS1的其他电荷蓄积部CS也同样地控制成，在第一子帧中使电荷蓄积部CS2(或者，电荷蓄积部CS3、CS4)蓄积电荷的第一蓄积定时、与在第二子帧中使电荷蓄积部CS2(或者，电荷蓄积部CS3、CS4)蓄积电荷的第二蓄积定时之间的时间差分成为与蓄积时间To不同的时间。另外，控制成第一蓄积定时与在第三子帧中使电荷蓄积部CS2(或者，电荷蓄积部CS3、CS4)蓄积电荷的第三蓄积定时之间的时间差分成为与蓄积时间To不同的时间。另外，控制成第二蓄积定时与第三蓄积定时之间的时间差分成为与蓄积时间To不同的时间。
通过进行这种控制，距离图像处理部4为，在特定的子帧中在特定的电荷蓄积部CS中蓄积了与反射光RL对应的电荷的一部分(前半部分的情况下，能够在其他子帧中不在相同的特定的电荷蓄积部CS中蓄积与反射光RL对应的电荷的剩余部分(后半部分)。由此，不仅能够实现由各子帧封闭的测定、即仅使用在各个子帧中蓄积的电荷量而进行的距离测定，而且能够将在多个子帧的各自中蓄积的电荷量组合来计算距离。
例如，如图4所示，在第一子帧中在蓄积定时TM1使电荷蓄积部CS1蓄积电荷的情况下，距离图像处理部4在第二子帧以及第三子帧中，在不是蓄积定时TM2的定时使电荷蓄积部CS1蓄积电荷。在图5中示出了在第二子帧中在蓄积定时TM5使电荷蓄积部CS1蓄积电荷的例子。在图6中示出了在第三子帧中在蓄积定时TM5使电荷蓄积部CS1蓄积电荷的例子。
如此，在第一子帧中在蓄积定时TM1使电荷蓄积部CS1蓄积电荷的情况下，在其他子帧中至少在不是蓄积定时TM2的定时使电荷蓄积部CS1蓄积电荷即可，也可以在多个子帧中在相同的蓄积定时使电荷蓄积部CS1蓄积电荷。
另外，如图4所示，在第一子帧中在蓄积定时TM2使电荷蓄积部CS2蓄积电荷的情况下，距离图像处理部4在第二子帧以及第三子帧中在不是蓄积定时TM1以及TM3的定时使电荷蓄积部CS2蓄积电荷。在图5中示出了在第二子帧中在蓄积定时TM2使电荷蓄积部CS2蓄积电荷的例子。在图6中示出了在第二子帧中在蓄积定时TM2使电荷蓄积部CS2蓄积电荷的例子。
如此，在第一子帧中在蓄积定时TM2使电荷蓄积部CS2蓄积电荷的情况下，在其他子帧中在至少不是蓄积定时TM1以及TM3的定时使电荷蓄积部CS2蓄积电荷即可。例如，也可以在所有子帧中在相同的蓄积定时TM2使电荷蓄积部CS2蓄积电荷。
另外，如图4所示，在第一子帧中在蓄积定时TM3使电荷蓄积部CS3蓄积电荷的情况下，距离图像处理部4在第二子帧以及第三子帧中在不是蓄积定时TM2以及TM4的定时使电荷蓄积部CS3蓄积电荷。在图5中示出了在第二子帧中在蓄积定时TM3使电荷蓄积部CS3蓄积电荷的例子。在图6中示出了在第二子帧中在蓄积定时TM6使电荷蓄积部CS3蓄积电荷的例子。
如此，在第一子帧中在蓄积定时TM3使电荷蓄积部CS3蓄积电荷的情况下，在其他子帧中至少在不是蓄积定时TM2以及TM4的定时使电荷蓄积部CS3蓄积电荷即可。例如，也可以在其他子帧中的一方中在与第一子帧相同的蓄积定时TM3使电荷蓄积部CS3蓄积电荷，在另一方中在与第一子帧不同且不是蓄积定时TM2以及TM4的蓄积定时TM6使电荷蓄积部CS3蓄积电荷。
另外，如图4所示，在第一子帧中在蓄积定时TM4使电荷蓄积部CS4蓄积电荷的情况下，距离图像处理部4在第二子帧以及第三子帧中在不是蓄积定时TM3以及TM5的定时使电荷蓄积部CS4蓄积电荷。在图5中示出了在第二子帧中在蓄积定时TM4使电荷蓄积部CS4蓄积电荷的例子。在图6中示出了在第二子帧中在蓄积定时TM4使电荷蓄积部CS4蓄积电荷的例子。
此处，使用图7～图8对距离图像处理部4计算距离的方法进行说明。图7是用于说明第一实施方式的距离图像处理部4进行的处理的图。图8是表示第一实施方式的距离图像处理部4进行的处理的流程的流程图。
图7的纵向分别表示“栅极”、即与电荷蓄积部CS1～CS4分别对应的读出栅极晶体管G1～G4。图7的横向分别表示“定时”、即蓄积定时TM1～TM6。在图7中示出在1帧中按照纵向的每个“栅极”在横向的蓄积定时蓄积电荷的次数。
具体而言，示出了在栅极G1即电荷蓄积部CS1中在蓄积定时TM1蓄积“1次”电荷，在蓄积定时TM5蓄积“2次”电荷。示出了在栅极G2即电荷蓄积部CS2中在蓄积定时TM2蓄积“3次”电荷。示出了在栅极G3即电荷蓄积部CS3中在蓄积定时TM3蓄积“2次”电荷，在蓄积定时TM6蓄积“1次”电荷。示出了在栅极G4即电荷蓄积部CS4中在蓄积定时TM4蓄积“3次”电荷。
另外，在图7中示出了按照纵向的每个“栅极”在1帧中蓄积电荷的次数的合计次数。具体而言，示出了在栅极G1～G4即电荷蓄积部CS1～CS4的全部中合计次数都为相同的“3次”。
另外，在图7中示出了按照横向的每个“定时”在1帧中蓄积电荷的合计时间(合计栅极开时间)。
具体而言，示出了在蓄积定时TM1蓄积电荷的合计时间为时间To×1。示出了在蓄积定时TM2蓄积电荷的合计时间为时间To×3。示出了在蓄积定时TM3蓄积电荷的合计时间为时间To×2。示出了在蓄积定时TM4蓄积电荷的合计时间为时间To×3。示出了在蓄积定时TM5蓄积电荷的合计时间为时间To×2。示出了在蓄积定时TM6蓄积电荷的合计时间为时间To×1。
如图8所示，首先，距离图像处理部4在各子帧的定时使像素321驱动(步骤S10)。距离图像处理部4在各子帧的蓄积期间中使电荷蓄积部CS分别蓄积电荷，在读出期间中读出与电荷蓄积部CS分别蓄积的电荷量对应的蓄积信号SIG1～SIG4。距离图像处理部4将所读出的蓄积信号SIG1～SIG4存储到缓存器。
接下来，距离图像处理部4计算与背景光成分对应的信号值(步骤S11)。例如，距离图像处理部4使用(1)式来计算与背景光成分对应的信号值SIGH。
SIGH＝MIN(ΣSIG1,ΣSIG2,ΣSIG3,ΣSIG4)/N…(1)
其中，
SIGH是与背景光成分对应的信号值。
ΣSIG1是1帧中的SIG1的合计值。SIG1是与在各子帧中电荷蓄积部CS1所蓄积的电荷量对应的信号值。
ΣSIG2是1帧中的SIG2的合计值。SIG2是与在各子帧中电荷蓄积部CS2所蓄积的电荷量对应的信号值。
ΣSIG3是1帧中的SIG3的合计值。SIG3是与在各子帧中电荷蓄积部CS3所蓄积的电荷量对应的信号值。
ΣSIG4是1帧中的SIG4的合计值。SIG4是与在各子帧中电荷蓄积部CS4所蓄积的电荷量对应的信号值。
N是1帧所包含的子帧的数量。
例如，在1帧由第一子帧至第三子帧这3个子帧构成的情况下，N＝3。
接下来，距离图像处理部4确定反射光RL被受光的定时(步骤S12)。例如，距离图像处理部4根据蓄积定时TM1～TM6各自的蓄积信号，将通过(1)计算出的信号值(与背景光成分对应的信号值)为阈值以上的2个连续的蓄积定时TM，确定为对反射光RL进行了受光的定时。
设为如图7所示那样在蓄积定时TM1蓄积电荷的合计时间为时间To×1，且如图4～图6所示那样在第一子帧中在蓄积定时TM1在电荷蓄积部CS1蓄积了电荷。在该情况下，距离图像处理部4为，在第一子帧的蓄积信号SIG1、与通过(1)式计算出的与背景光成分对应的信号值SIGH之间的差分为阈值以上的情况下，判定为有可能在蓄积定时TM1对反射光RL进行了受光。另一方面，距离图像处理部4在差分小于阈值的情况下，判定为没有可能在蓄积定时TM1对反射光RL进行了受光。
另外，设为如图7所示那样在蓄积定时TM2蓄积电荷的合计时间为时间To×3，且如图4～图6所示那样在各子帧中在蓄积定时TM2在电荷蓄积部CS2蓄积了电荷。在该情况下，距离图像处理部4为，在任意子帧中的蓄积信号SIG2、与通过(1)式计算出的与背景光成分对应的信号值SIGH之间的差分为阈值以上的情况下，判定为有可能在蓄积定时TM2对反射光RL进行了受光。另一方面，距离图像处理部4在差分小于阈值的情况下，判定为没有可能在蓄积定时TM2对反射光RL进行了受光。
另外，设为如图7所示那样在蓄积定时TM3蓄积电荷的合计时间为时间To×2，且如图4～图6所示那样在第一子帧以及第二子帧中在蓄积定时TM3在电荷蓄积部CS3蓄积了电荷。在该情况下，距离图像处理部4为，在第一子帧或者第二子帧的蓄积信号SIG3、与通过(1)式计算出的与背景光成分对应的信号值SIGH之间的差分为阈值以上的情况下，判定为有可能在蓄积定时TM3对反射光RL进行了受光。另一方面，距离图像处理部4在差分小于阈值的情况下，判定为没有可能在蓄积定时TM3对反射光RL进行了受光。
另外，设为如图7所示那样在蓄积定时TM4蓄积电荷的合计时间为时间To×3，且如图4～图6所示那样在各子帧中在蓄积定时TM4在电荷蓄积部CS4蓄积了电荷。在该情况下，距离图像处理部4为，在任意子帧中的蓄积信号SIG4、与通过(1)式计算出的与背景光成分对应的信号值SIGH之间的差分为阈值以上的情况下，判定为有可能在蓄积定时TM4对反射光RL进行了受光。另一方面，距离图像处理部4在差分小于阈值的情况下，判定为没有可能在蓄积定时TM4对反射光RL进行了受光。
另外，设为如图7所示那样在蓄积定时TM5蓄积电荷的合计时间为时间To×2，且如图4～图6所示那样在第二子帧以及第三子帧中在蓄积定时TM5在电荷蓄积部CS1蓄积了电荷。在该情况下，距离图像处理部4为，在第二子帧或者第三子帧的蓄积信号SIG1、与通过(1)式计算出的与背景光成分对应的信号值SIGH之间的差分为阈值以上的情况下，判定为有可能在蓄积定时TM5对反射光RL进行了受光。另一方面，距离图像处理部4在差分小于阈值的情况下，判定为没有可能在蓄积定时TM5对反射光RL进行了受光。
另外，设为如图7所示那样在蓄积定时TM6蓄积电荷的合计时间为时间To×1，且如图4～图6所示那样在第三子帧中在蓄积定时TM6在电荷蓄积部CS3蓄积了电荷。在该情况下，距离图像处理部4为，在第三子帧的蓄积信号SIG3、与通过(1)式计算出的与背景光成分对应的信号值SIGH之间的差分为阈值以上的情况下，判定为有可能在蓄积定时TM6对反射光RL进行了受光。另一方面，距离图像处理部4在差分小于阈值的情况下，判定为没有可能在蓄积定时TM6对反射光RL进行了受光。
如此，距离图像处理部4判定在蓄积定时TM1～TM6的各自是否有可能对反射光RL进行了受光。距离图像处理部4为，将有可能对反射光RL进行了受光的蓄积定时存在2个、且这2个是连续的定时的情况下，将这2个蓄积定时确定为对反射光RL进行了受光的定时。
距离图像处理部4为，在确定了对反射光RL进行了受光的2个连续的蓄积定时的情况下，计算与在反射光RL被受光的2个连续的蓄积定时TM所蓄积的电荷量对应的蓄积信号SIGQ1以及SIGQ2。此处，蓄积信号SIGQ1是包含反射光RL的前半部分的蓄积信号。蓄积信号SIGQ2是包含反射光RL的后半部分的蓄积信号。
例如，在对反射光RL进行了受光的2个连续的蓄积定时为蓄积定时TM1以及TM2的情况下，将第一子帧的蓄积信号SIG1设为蓄积信号SIGQ1。另外，将任意子帧中的蓄积信号SIG2设为蓄积信号SIGQ2。
例如，在对反射光RL进行了受光的2个连续的蓄积定时为蓄积定时TM2以及TM3的情况下，将任意子帧中的蓄积信号SIG2设为蓄积信号SIGQ1。另外，将第一子帧或者第二子帧中的蓄积信号SIG3设为蓄积信号SIGQ2。
例如，在对反射光RL进行了受光的2个连续的蓄积定时为蓄积定时TM3以及TM4的情况下，将第一子帧或者第二子帧中的蓄积信号SIG3设为蓄积信号SIGQ1。另外，将任意子帧中的蓄积信号SIG4设为蓄积信号SIGQ2。
例如，在对反射光RL进行了受光的2个连续的蓄积定时为蓄积定时TM4以及TM5的情况下，将任意子帧中的蓄积信号SIG4设为蓄积信号SIGQ1。另外，将第二子帧或者第三子帧的蓄积信号SIG1设为蓄积信号SIGQ2。
例如，在对反射光RL进行了受光的2个连续的蓄积定时为蓄积定时TM5以及TM6的情况下，将第二子帧或者第三子帧的蓄积信号SIG1设为蓄积信号SIGQ1。另外，将第三子帧的蓄积信号SIG3设为蓄积信号SIGQ2。
接下来，距离图像处理部4计算到被摄体OB的距离(步骤S13)。例如，距离图像处理部4为，在蓄积定时TM1以及TM2对反射光RL进行了受光的情况下，使用(2)式来计算到被摄体OB的距离d。
d＝c0×(1/2×Td)
Td＝To×(SIGQ2－SIGH)/(SIGQ1+SIGQ2－2×SIGH)…(2)
其中，
d是到被摄体OB的距离。
c0是光速。
Td是光到达被摄体OB所需要的时间。
SIGQ1是与反射光RL的前半部分对应的蓄积信号。
SIGQ2是与反射光RL的后半部分对应的蓄积信号。
SIGH是与背景光成分对应的蓄积信号。
此处，使用图9～图12对驱动像素321的定时进行说明。图9～图11是表示第一实施方式的驱动像素321的定时的时序图。图12是用于说明第一实施方式的距离图像处理部4进行的处理的图。
图9示出了表示在第一子帧中驱动像素321的定时的时序图，图10示出了表示在第二子帧中驱动像素321的定时的时序图，图11示出了表示在第三子帧中驱动像素321的定时的时序图。图9～图10的信号名以及信号逻辑与图4～图6相同。
图9示出了在第一子帧的蓄积期间中重复第一循环的例子。示出了如下例子：在第一循环中，分别在蓄积定时TM1使电荷蓄积部CS1蓄积电荷，在蓄积定时TM2使电荷蓄积部CS2蓄积电荷，在蓄积定时TM5使电荷蓄积部CS3蓄积电荷，在蓄积定时TM6使电荷蓄积部CS4蓄积电荷。
图10示出了在第二子帧的蓄积期间中重复第二循环的例子。示出了如下例子：在第二循环中，分别在蓄积定时TM3使电荷蓄积部CS1蓄积电荷，在蓄积定时TM4使电荷蓄积部CS2蓄积电荷，在蓄积定时TM5使电荷蓄积部CS3蓄积电荷，在蓄积定时TM6使电荷蓄积部CS4蓄积电荷。
图11示出了在第三子帧的蓄积期间中重复第三循环的例子。示出了如下例子：在第三循环中，与第二循环相同，在蓄积定时TM3使电荷蓄积部CS1蓄积电荷，在蓄积定时TM4使电荷蓄积部CS2蓄积电荷，在蓄积定时TM5使电荷蓄积部CS3蓄积电荷，在蓄积定时TM6使电荷蓄积部CS4。
图12示出了与图9～图11对应的帧中的“栅极”与“定时”之间的关系。图12中的“栅极”和“定时”与图7相同。
在图12中按照横向的每个“定时”示出在1帧中蓄积电荷的合计时间(合计栅极开时间)。
具体地，示出了在蓄积定时TM1以及TM2蓄积电荷的合计时间为时间To×1。示出了在蓄积定时TM3以及TM4蓄积电荷的合计时间为时间To×2。示出了在蓄积定时TM5以及TM6蓄积电荷的合计时间为时间To×3。
如此，距离图像处理部4控制成，在多个所述蓄积定时TM1～TM6的各自中，相比于与照射定时L之间的差分较小的蓄积定时TM1以及TM2，在差分较大的蓄积定时TM3以及TM4在1帧中蓄积电荷的合计时间变大。另外，控制成，相比于与照射定时L之间的差分较小的蓄积定时TM3以及TM4，在差分较大的蓄积定时TM5以及TM6在1帧中蓄积电荷的合计时间变大。
一般来说，到被摄体OB的距离越小则反射光RL的强度越变大。即，在蓄积定时TM1以及TM2所受光的反射光RL的强度比在其他蓄积定时TM3～TM6变大。因此，处于电荷蓄积部所蓄积的电荷量马上会饱和的趋势。因而，需要以电荷蓄积部所蓄积的电荷量不饱和的方式，决定在1帧中蓄积电荷的合计时间。
与此相对，到被摄体OB的距离越大则反射光RL的强度越变小。即，在蓄积定时TM5以及TM6所受光的反射光RL的强度比在其他蓄积定时TM1～TM4变小。因此，在按照与以在蓄积定时TM1以及TM2不饱和的方式决定的合计时间相同的时间使电荷蓄积部蓄积电荷的情况下，电荷量会不足、距离的运算精度会恶化的可能性较高。
作为其对策，距离图像处理部4控制成，相比于与照射定时L之间的差分较小的蓄积定时(例如蓄积定时TM1以及TM2)，在差分较大的蓄积定时(例如蓄积定时TM5以及TM6)在1帧中蓄积电荷的合计时间变大。由此，在对来自存在于较近距离处的被摄体OB的反射光RL进行了受光的情况下能够使其不饱和，且在对来自存在于较远距离处的被摄体OB的对反射光RL进行了受光的情况下，能够蓄积能够高精度地测定距离的程度的电荷。
如以上说明那样，第一实施方式的距离图像摄像装置1具备光源部2、受光部3以及距离图像处理部4。距离图像处理部4在1帧中设置有以相互不同的模式蓄积电荷的蓄积循环。此处，在各子帧中重复的循环、具体而言为“第一循环”、“第二循环”、以及“第三循环”分别为“蓄积循环”的一个例子。距离图像处理部4控制成，在多个子帧中，在比电荷蓄积部CS的数量(4)多的多个蓄积定时TM1～TM6中的任意定时，在电荷蓄积部CS中分别蓄积电荷。距离图像处理部4控制成，在1帧中，使电荷蓄积部CS分别蓄积电荷的次数的合计值即合计次数相同。距离图像处理部4控制成，第一蓄积定时与第二蓄积定时之间的时间差分成为与蓄积时间To不同的时间。第一蓄积定时是在特定的子帧(例如第一子帧)中使特定的电荷蓄积部(例如电荷蓄积部CS1)蓄积电荷的蓄积定时TM。第二蓄积定时是在与特定的子帧不同的其他子帧(例如第二子帧或者第三子帧)中使特定的电荷蓄积部(例如电荷蓄积部CS1)蓄积电荷的蓄积定时TM。
由此，在第一实施方式的距离图像摄像装置1中，能够控制成，在比电荷蓄积部CS的数量(4)多的多个蓄积定时TM1～TM6中的任意定时，在电荷蓄积部CS的各自中蓄积电荷，能够扩大能够测定的距离。另外，能够控制成，在1帧中使电荷蓄积部CS分别蓄积电荷的次数的合计值即合计次数相同，能够容易确定蓄积了与反射光RL对应的电荷的电荷蓄积部CS。而且，能够控制成，第一蓄积定时与第二蓄积定时之间的时间差分成为与蓄积时间To不同的时间，不仅能够实现由各子帧封闭的测定，而且能够将在多个子帧的各自中蓄积的电荷量组合来计算距离。因而，不需要在与能够测定的范围对应的定时(蓄积定时TM1～TM6)使电荷蓄积部蓄积电荷，在与能够测定的范围不同的定时使电荷蓄积部蓄积背景光成分的电荷。即，不使测定所需的时间增多就能够扩大能够测定的范围。
另外，在第一实施方式的距离图像摄像装置1中，距离图像处理部4控制成，相比于与照射定时L之间的差分较小的蓄积定时(例如蓄积定时TM1以及TM2)，在差分较大的蓄积定时(例如蓄积定时TM5以及TM6)在1帧中蓄积电荷的合计时间变大。由此，在对来自存在于较近距离处的被摄体OB的反射光RL进行了受光的情况下能够使其不饱和，并且在对来自存在于较远距离处的被摄体OB的反射光RL进行了受光的情况下，能够蓄积能够高精度地测定距离的程度的电荷。
(第一实施方式的变形例)
在上述第一实施方式中，对在1帧中设置多个子帧、在各子帧中设置蓄积期间与读出期间的情况进行例示并进行说明。然而，并不限定于此。也可以是在各子帧中仅设置蓄积期间、在1帧最后设置一个读出期间的帧构成。在该情况下，与在各子帧中蓄积的电荷的合计值相当的信号值被读出。与上述第一实施方式那样针对每个子帧设置读出期间的情况相比较，能够减少读出期间，能够高效地进行测定。
另外，至少在1帧中进行蓄积循环不同的驱动即可，也不一定必须设置子帧。在本变形例中，对在1帧中不设置子帧而进行蓄电循环不同的驱动的情况下的例子进行说明。
图13～图17是表示第一实施方式的变形例所涉及的驱动像素321的定时的时序图。图13～图17中示出相同的时序图，且示出相对于相同的时序图反射光RL在不同定时被受光的例。
具体而言，示出了在1帧中设置有依次进行蓄电循环不同的驱动的组(第一组、第二组、…、第M组，M为任意的自然数)的例子。在此处的组中，进行依据“第一循环”、“第二循环”以及“第三循环”各自的驱动。此处的“第一循环”与图4的第一循环相同，“第二循环”与图5的第二循环相同，“第三循环”与图6的第三循环相同。
图13～图17中示出了相对于相同的时序图、反射光RL在不同定时被受光的例子。
图13中示出了跨越蓄积定时TM1～TM2而蓄积了与反射光RL对应的电荷的例子。
在该情况下，在第一循环中，在栅极G1即电荷蓄积部CS1中蓄积与反射光RL的前半部分对应的电荷。另外，在第一循环中，在栅极G2即电荷蓄积部CS2中蓄积与反射光RL的后半部分对应的电荷。另外，在第二循环中，在栅极G2即电荷蓄积部CS2中蓄积与反射光RL的后半部分对应的电荷。另外，在第三循环中，在栅极G2即电荷蓄积部CS2中蓄积与反射光RL的后半部分对应的电荷。
另外，在各循环(第一循环、第二循环以及第三循环)中，在电荷蓄积部CS1～CS4的各自中按照每个循环各1次地蓄积与背景光成分对应的电荷。
即，当距离图像处理部4进行1帧中的蓄积期间的驱动时，在电荷蓄积部CS1中蓄积与1次量的反射光RL的前半部分、以及3次量的背景光成分各自的光量的总和对应的电荷。距离图像处理部4在蓄积期间结束至后，在读出期间中读出蓄积信号SIG1。蓄积信号SIG1成为与1次量的反射光RL的前半部分、以及3次量的背景光成分的光量对应的信号值。
另外，当距离图像处理部4进行1帧中的蓄积期间的驱动时，在电荷蓄积部CS2中蓄积与3次量的反射光RL的后半部分、以及3次量的背景光成分各自的光量的总和对应的电荷。距离图像处理部4在蓄积期间结束之后，在读出期间中读出蓄积信号SIG2。蓄积信号SIG2成为与3次量的反射光RL的后半部分、以及3次量的背景光成分的光量的总和对应的信号值。
另外，当距离图像处理部4进行1帧中的蓄积期间的驱动时，在电荷蓄积部CS3中蓄积与3次量的背景光成分的光量对应的电荷。距离图像处理部4在蓄积期间结束之后，在读出期间中读出蓄积信号SIG3。蓄积信号SIG3成为与3次量的背景光成分的光量的总和对应的信号值。
另外，当距离图像处理部4进行1帧中的蓄积期间的驱动时，在电荷蓄积部CS4中蓄积与3次量的背景光成分的光量对应的电荷。距离图像处理部4在蓄积期间结束之后，在读出期间中读出蓄积信号SIG4。蓄积信号SIG4成为与3次量的背景光成分的光量的总和对应的信号值。
距离图像处理部4例如将蓄积信号SIG1～SIG4中的最小信号值设为与背景光成分对应的信号值。例如，距离图像处理部4使用(3)式来计算与背景光成分对应的信号值SIGH。
SIGH＝MIN(SIG1，SIG2，SIG3，SIG4)…(3)
其中，
SIGH是与背景光成分对应的信号值。
SIG1是与电荷蓄积部CS1蓄积的电荷量对应的蓄积信号。
SIG2是与电荷蓄积部CS2蓄积的电荷量对应的蓄积信号。
SIG3是与电荷蓄积部CS3蓄积的电荷量对应的蓄积信号。
SIG4是与电荷蓄积部CS4蓄积的电荷量对应的蓄积信号。
此处，在本变形例中，将在各组中使电荷蓄积部CS分别蓄积电荷的次数设为相同的次数(3次)。由此，能够使在电荷蓄积部CS各自中蓄积的背景光成分的电荷量相同。因而，如(3)式所示，能够通过求出最小值这样的容易的处理，对与背景光成分对应的信号值SIGH进行计算。
距离图像处理部4通过从蓄积信号SIG1减去信号值SIGH，由此计算出与1次量的反射光RL的前半部分相当的蓄积信号SIGR1。另外，距离图像处理部4通过从蓄积信号SIG2减去信号值SIGH，由此计算出与3次量的反射光RL的后半部分相当的蓄积信号SIGR2。
距离图像处理部4对蓄积信号SIGR1以及SIGR2进行校正，计算出与相同次数量的反射光RL对应的校正后的蓄积信号SIGR1#以及SIGR2#。例如，距离图像处理部4使用(4)式来计算校正后的蓄积信号SIGR1#以及SIGR2#。
SIGR1#＝SIGR1×3
SIGR2#＝SIGR2×1
…(4)
其中，
SIGR1#是校正后的与反射光RL的前半部分相当的蓄积信号。
SIGR2#是校正后的与反射光RL的后半部分相当的蓄积信号。
距离图像处理部4通过将蓄积信号SIGR1#、SIGR2#以及SIGH例如代入(5)式，由此计算出到被摄体OB的距离d。
d＝c0×(1/2×Td)
Td＝To×(SIGR2#)/(SIGR1#+SIGR2#)…(5)
其中，
d是到被摄体OB的距离。
c0是光速。
Td是光到达被摄体OB所需要的时间。
SIGR1#是校正后的与反射光RL的前半部分对应的蓄积信号。
SIGR2#是校正后的与反射光RL的后半部分对应的蓄积信号。
图14示出了跨越蓄积定时TM2～TM3而蓄积了与反射光RL对应的电荷的例子。在该情况下，蓄积信号SIG1成为与3次量的背景光成分的光量对应的信号值。蓄积信号SIG2成为与3次量的反射光RL的前半部分、以及3次量的背景光成分的光量对应的信号值。蓄积信号SIG3成为与2次量的反射光RL的后半部分、以及3次量的背景光成分的光量对应的信号值。蓄积信号SIG4成为与3次量的背景光成分的光量对应的信号值。
距离图像处理部4使用(3)式来计算与背景光成分对应的信号值SIGH。
距离图像处理部4通过从蓄积信号SIG2减去信号值SIGH，由此计算出与3次量的反射光RL的前半部分相当的蓄积信号SIGR2。另外，距离图像处理部4通过从蓄积信号SIG3减去信号值SIGH，由此计算出与2次量的反射光RL的后半部分相当的蓄积信号SIGR3。
距离图像处理部4对蓄积信号SIGR2以及SIGR3进行校正。例如，距离图像处理部4使用(6)式来计算校正后的蓄积信号SIGR2#以及SIGR3#。
SIGR2#＝SIGR2×1
SIGR3#＝SIGR3×3/2
…(6)
其中，
SIGR2#是校正后的与反射光RL的前半部分相当的蓄积信号。
SIGR3#是校正后的与反射光RL的后半部分相当的蓄积信号。
SIGR2是与反射光RL的前半部分相当的蓄积信号。
SIGR3是与反射光RL的后半部分相当的蓄积信号。
距离图像处理部4通过将蓄积信号SIGR2#、SIGR3#以及SIGH例如代入(7)式，由此计算出到被摄体OB的距离d。
d＝c0×(1/2×Td)
Td＝To×(SIGR3#)/(SIGR2#+SIGR3#)…(7)
其中，
d是到被摄体OB的距离。
c0是光速。
Td是光到达被摄体OB所需要的时间。
SIGR2#是校正后的与反射光RL的前半部分对应的蓄积信号。
SIGR3#是校正后的与反射光RL的后半部分对应的蓄积信号。
图15示出了跨越蓄积定时TM3～TM4而蓄积了与反射光RL对应的电荷的例子。在该情况下，蓄积信号SIG1成为与3次量的背景光成分的光量对应的信号值。蓄积信号SIG2成为与3次量的背景光成分的光量对应的信号值。蓄积信号SIG3成为与2次量的反射光RL的前半部分、以及3次量的背景光成分的光量对应的信号值。蓄积信号SIG4成为与3次量的反射光RL的后半部分、以及3次量的背景光成分的光量对应的信号值。
距离图像处理部4使用(3)式来计算与背景光成分对应的信号值SIGH。
距离图像处理部4通过从蓄积信号SIG3减去信号值SIGH，由此计算出与2次量的反射光RL的前半部分相当的蓄积信号SIGR3。另外，距离图像处理部4通过从蓄积信号SIG4减去信号值SIGH，由此计算出与3次量的反射光RL的后半部分相当的蓄积信号SIGR4。
距离图像处理部4对蓄积信号SIGR3以及SIGR4进行校正。例如，距离图像处理部4使用(8)式来计算出校正后的蓄积信号SIGR3#以及SIGR4#。
SIGR3#＝SIGR3×3/2
SIGR4#＝SIGR4×1
…(8)
其中，
SIGR3#是校正后的与反射光RL的前半部分相当的蓄积信号。
SIGR4#是校正后的与反射光RL的后半部分相当的蓄积信号。
SIGR3是与反射光RL的前半部分相当的蓄积信号。
SIGR4是与反射光RL的后半部分相当的蓄积信号。
距离图像处理部4通过将蓄积信号SIGR3#、SIGR4#以及SIGH例如代入(9)式，由此计算出到被摄体OB的距离d。
d＝c0×(1/2×Td)
Td＝To×(SIGR4#)/(SIGR3#+SIGR4#)…(9)
其中，
d是到被摄体OB的距离。
c0是光速。
Td是光到达被摄体OB所需要的时间。
SIGR3#是校正后的与反射光RL的前半部分对应的蓄积信号。
SIGR4#是校正后的与反射光RL的后半部分对应的蓄积信号。
图16示出了跨越蓄积定时TM4～TM5而蓄积了与反射光RL对应的电荷的例子。在该情况下，蓄积信号SIG1成为与2次量的反射光RL的后半部分、以及3次量的背景光成分的光量对应的信号值。蓄积信号SIG2成为与3次量的背景光成分的光量对应的信号值。蓄积信号SIG3成为与3次量的背景光成分的光量对应的信号值。蓄积信号SIG4成为与3次量的反射光RL的前半部分、以及3次量的背景光成分的光量对应的信号值。
距离图像处理部4使用(3)式来计算与背景光成分对应的信号值SIGH。
距离图像处理部4通过从蓄积信号SIG4减去信号值SIGH，由此计算出与3次量的反射光RL的前半部分相当的蓄积信号SIGR4。另外，距离图像处理部4通过从蓄积信号SIG1减去信号值SIGH，由此计算出与2次量的反射光RL的后半部分相当的蓄积信号SIGR1。
距离图像处理部4对蓄积信号SIGR4以及SIGR1进行校正。例如，距离图像处理部4使用(10)式来计算校正后的蓄积信号SIGR4#以及SIGR1#。
SIGR4#＝SIGR4×1
SIGR1#＝SIGR1×3/2
…(10)
其中，
SIGR4#是校正后的与反射光RL的前半部分相当的蓄积信号。
SIGR1#是校正后的与反射光RL的后半部分相当的蓄积信号。
SIGR4是与反射光RL的前半部分相当的蓄积信号。
SIGR1是与反射光RL的后半部分相当的蓄积信号。
距离图像处理部4通过将蓄积信号SIGR4#、SIGR1#以及SIGH例如代入(11)式，由此计算出到被摄体OB的距离d。
d＝c0×(1/2×Td)
Td＝To×(SIGR1#)/(SIGR4#+SIGR1#)…(11)
其中，
d是到被摄体OB的距离。
c0是光速。
Td是光到达被摄体OB所需要的时间。
SIGR4#是校正后的与反射光RL的前半部分对应的蓄积信号。
SIGR1#是校正后的与反射光RL的后半部分对应的蓄积信号。
SIGH是与背景光成分对应的蓄积信号。
图17示出了跨越蓄积定时TM5～TM6而蓄积了与反射光RL对应的电荷的例子。在该情况下，蓄积信号SIG1成为与2次量的反射光RL的前半部分、以及3次量的背景光成分的光量对应的信号值。蓄积信号SIG2成为与3次量的背景光成分的光量对应的信号值。蓄积信号SIG3成为与1次量的反射光RL的后半部分、以及3次量的背景光成分的光量对应的信号值。蓄积信号SIG4成为与3次量的背景光成分的光量对应的信号值。
距离图像处理部4使用(3)式来计算与背景光成分对应的信号值SIGH。
距离图像处理部4通过从蓄积信号SIG1减去信号值SIGH，由此计算出与2次量的反射光RL的前半部分相当的蓄积信号SIGR1。另外，距离图像处理部4通过从蓄积信号SIG3减去信号值SIGH，由此计算出与1次量的反射光RL的后半部分相当的蓄积信号SIGR3。
距离图像处理部4对蓄积信号SIGR1以及SIGR3进行校正。例如，距离图像处理部4使用(12)式来计算校正后的蓄积信号SIGR1#以及SIGR3#。
SIGR1#＝SIGR1×3/2
SIGR3#＝SIGR3×3
…(12)
其中，
SIGR1#是校正后的与反射光RL的前半部分相当的蓄积信号。
SIGR3#是校正后的与反射光RL的后半部分相当的蓄积信号。
SIGR1是与反射光RL的前半部分相当的蓄积信号。
SIGR3是与反射光RL的后半部分相当的蓄积信号。
距离图像处理部4通过将蓄积信号SIGR1#、SIGR3#以及SIGH例如代入(13)式，由此计算出到被摄体OB的距离d。
d＝c0×(1/2×Td)
Td＝To×(SIGR3#)/(SIGR1#+SIGR3#)…(13)
其中，
d是到被摄体OB的距离。
c0是光速。
Td是光到达被摄体OB所需要的时间。
SIGR1#是校正后的与反射光RL的前半部分对应的蓄积信号。
SIGR3#是校正后的与反射光RL的后半部分对应的蓄积信号。
另外，(4)式、(6)式、(8)式、(10)式以及(12)式所示的校正系数为一个例子，并不限定于此。通过校正，至少与反射光RL的前半部分以及后半部分对应的蓄积信号分别能够校正为与相同次数相当的蓄积信号即可。例如，在(3)式中，也可以对SIGR1乘以“1”，对SIGR2乘以“1/3”。
如以上说明那样，第一实施方式的变形例的距离图像摄像装置1为，距离图像处理部4在1帧中设置以相互不同的模式蓄积电荷的蓄积循环。此处，在各子帧中重复的循环、具体地是“第一循环”、“第二循环”以及“第三循环”分别是“蓄积循环”的一个例子。距离图像处理部4将蓄积循环控制为，在1帧中，在比电荷蓄积部CS的数量(4)多的多个蓄积定时TM1～TM6中的任意定时，在电荷蓄积部CS各自中蓄积电荷。距离图像处理部4控制成，在1帧中，使电荷蓄积部CS各自蓄积电荷的次数的合计值即合计次数相同。距离图像处理部4控制成，第一蓄积定时与第二蓄积定时之间的时间差分成为与蓄积时间To不同的时间。第一蓄积定时是在特定的循环(例如第一循环)中使特定的电荷蓄积部(例如电荷蓄积部CS1)蓄积电荷的定时。第二蓄积定时是在与特定的循环不同的其他循环(例如第二循环或者第三循环)中使特定的电荷蓄积部(例如电荷蓄积部CS1)蓄积电荷的定时。
由此，在第一实施方式的变形例的距离图像摄像装置1中，能够控制成，在比电荷蓄积部CS的数量(4)多的多个蓄积定时TM1～TM6中的任意定时，在电荷蓄积部CS各自中蓄积电荷，能够扩大能够测定的距离。另外，能够控制成，在1帧中，使电荷蓄积部CS各自蓄积电荷的次数的合计值即合计次数相同，能够容易对与背景光成分对应的蓄积信号进行计算，并容易确定与反射光RL对应的电荷所蓄积的电荷蓄积部CS。而且，能够控制成，第一蓄积定时与第二蓄积定时之间的时间差分成为与蓄积时间To不同的时间，能够使用与遍及1帧蓄积的电荷量对应的蓄积信号来计算距离。因而，能够发挥与上述实施方式相同的效果。
(第二实施方式)
此处，对第二实施方式进行说明。在本实施方式中，在具备多个测定模式这一点上与上述实施方式不同。多个测定模式至少包括通常模式以及大范围模式。
通常模式为对到处于近距离的被摄体OB的距离进行测定、但不对到处于远距离的被摄体OB的距离进行测定的模式。在通常模式中，像素321被驱动为，使与从处于近距离的被摄体OB到来的反射光RL对应的电荷蓄积于电荷蓄积部CS，但不使与从处于远距离的被摄体OB到来的反射光RL对应的电荷蓄积于电荷蓄积部CS。
通常模式为，作为1帧的详细内容，例如通过仅重复执行图4所示的第一子帧来驱动像素321的模式。在图4中，像素321被驱动为，在蓄积定时TM1～TM4的各个定时蓄积电荷，但在蓄积定时TM5以及TM6的哪个定时都不蓄积电荷。蓄积定时TM1～TM4是使与从处于近距离的被摄体OB到来的反射光RL对应的电荷蓄积于电荷蓄积部CS的定时的一个例子。蓄积定时TM5以及TM6是使与从处于远距离的被摄体OB到来的反射光RL对应的电荷蓄积于电荷蓄积部CS的定时的一个例子。
大范围模式是对到处于近距离至远距离的大范围的被摄体OB的距离进行测定的模式。在大范围模式中，像素321被驱动为，使与从处于近距离以及远距离的任意被摄体OB到来的反射光RL对应的电荷蓄积于电荷蓄积部CS。
大范围模式为，作为1帧的详细内容，例如通过重复执行图4～图6所示的第一子帧～第三子帧来驱动像素321的模式。在图4中，像素321被驱动为，在蓄积定时TM1～TM4的各个定时蓄积电荷。在图5中，像素321被驱动为，在蓄积定时TM2～TM5分别向电荷蓄积部CS2～CS5的各自蓄积电荷。在图6中，像素321被驱动为，在蓄积定时TM2、TM4～TM6分别向电荷蓄积部CS2、CS4、CS1、CS3的各自蓄积电荷。
或者，大范围模式为，作为1帧的详细内容，例如通过重复执行图9～图11所示的第一子帧～第三子帧来驱动像素321的模式。在图9中，像素321被驱动为，在蓄积定时TM1～TM2、TM5～TM6的各个定时蓄积电荷。在图10以及图11中，像素321被驱动为，在蓄积定时TM3～TM6的各个定时蓄积电荷。
如此，在大范围模式中，像素321被驱动为，在与近距离对应的蓄积定时TM1～TM4、以及与远距离对应的蓄积定时TM5及TM6的任意定时，与反射光RL对应的电荷被蓄积于电荷蓄积部CS。由此，能够对到处于近距离至远距离的大范围的被摄体OB的距离进行测定。
在本实施方式中，距离图像处理部4计算出构成由距离图像摄像装置1摄像(测定)的距离图像的像素321各自的像素值(距离值)的统计量。此处的统计量可以是使用任意的统计方法计算出的统计量。统计量例如是距离值的度数分布、平均值、中央值、离散、标准偏差、最频值、最大值、最小值等中的任一个以及这些的组合。距离图像处理部4在基于计算出的统计量判定为在近距离至远距离的大范围内存在被摄体OB的情况下，将下次测定中的测定模式设为大范围模式。另一方面，距离图像处理部4在基于计算出的统计量判定为仅在近距离存在被摄体OB的情况下，将下次测定中的测定模式设为通常模式。
距离图像处理部4例如作为统计量而对最小值以及测定范围进行计算。最小值是在距离图像中测定出的最小的距离值。测定范围是在距离图像中测定出的最小的距离值至最大的距离值的范围。距离图像处理部4在基于距离图像计算出的最小值小于第一阈值、且测定范围为第二阈值以上的情况下，判定为在近距离至远距离的大范围内存在被摄体OB。第一阈值是与视为近距离的距离对应地设定的值。第二阈值是与视为大范围的距离范围对应地设定的值。在判定为在大范围内存在被摄体OB的情况下，距离图像处理部4将下次测定中的测定模式设为大范围模式。另一方面，在最小值小于第一阈值、且测定范围小于第二阈值的情况下，距离图像处理部4判定为仅在近距离存在被摄体OB。在判定为仅在近距离存在被摄体OB的情况下，距离图像处理部4将下次测定中的测定模式设为通常模式。
或者，距离图像处理部4作为统计量而计算最大值。最大值是在距离图像中测定出的最大的距离值。距离图像处理部4在基于距离图像而计算出的最大值为第三阈值以上的情况下，判定为被摄体OB处于远距离。第三阈值是与视为远距离的距离对应地设定的值。在判定为被摄体OB处于远距离的情况下，距离图像处理部4将下次测定中的测定模式设为大范围模式。另一方面，在最大值小于第三阈值的情况下，距离图像处理部4判定为仅在近距离存在被摄体OB。在判定为仅在近距离存在被摄体OB的情况下，距离图像处理部4将下次测定中的测定模式设为通常模式。
另外，距离图像处理部4在通常模式下的测定中产生了某种变化的情况下，也可以将下次测定中的测定模式设为大范围模式。在该情况下，距离图像处理部4首先以通常模式开始摄像(测定)，距离图像处理部4按照每个测定来计算统计量，并存储所计算出的统计量。距离图像处理部4为，在这次测定中计算出的统计量、与在前次测定中计算出的统计量之间的差分为第四阈值以上的情况下，将下次测定中的测定模式设为大范围模式。第四阈值是与视为存在变化的值对应地设定的值，且是根据统计量设定的值。在测定空间中变得不存在被摄体OB的情况下等、在测定中产生了某种变化的情况下，对测定模式进行变更，由此能够判定在以大范围模式能够测定的范围(远距离)内是否存在被摄体OB。例如，距离图像处理部4在远距离存在被摄体OB的情况下，继续以大范围模式进行测定，在包括远距离在内的大范围模式的测定空间中不存在被摄体OB的情况下，返回通常模式而继续进行测定。
如以上说明那样，在第二实施方式的距离图像摄像装置1中，具备包括通常模式以及大范围模式在内的多个测定模式。通常模式是对到处于近距离的被摄体OB的距离进行测定、但对到处于远距离的被摄体OB的距离不进行测定的模式。大范围模式是对到处于近距离至远距离的大范围内的被摄体OB的距离进行测定的模式。距离图像处理部4计算出像素321各自的像素值(距离值)的统计量。距离图像处理部4基于计算出的统计量来决定将下次测定中的测定模式设为通常模式以及大范围模式中的哪个。
由此，在第二实施方式的距离图像摄像装置1中，能够根据测定空间中存在的被摄体OB的状况来切换测定模式，能够不使测定所需的时间增大地进行测定。例如，如果是仅在近距离存在被摄体OB的状况，则以通常模式进行测定，不对到处于远距离的被摄体OB的距离进行测定，与以大范围模式进行测定的情况相比较，能够缩短测定所需的时间。另一方面，如果是在近距离至远距离的大范围内存在被摄体OB的状况，则以大范围模式进行测定，能够对存在于大范围的被摄体OB各自的距离进行测定，并且相比于在与能够测定的范围不同的定时使电荷蓄积部CS蓄积背景光成分的电荷的情况，能够缩短测定所需的时间。
(第二实施方式的变形例)
此处，对第二实施方式的变形例进行说明。在本变形例中，在按照每个像素区域来设定测定模式这一点，与上述第二实施方式不同。像素区域是将设置于距离图像传感器32的多个像素321分割为由邻接的多个像素321构成的像素群而得到的区域(区域)。例如，在图2的距离图像传感器32中，将按照8行8列配置为二维矩阵状的像素群分割为4个，由此能够设置4个像素区域。在该情况下，在各像素区域中包含由4行×4列构成的16个像素。另外，不限定于4行×4列，像素区域可以任意地设定，例如可以设置由5行×5列的25个像素构成的像素区域，也可以设置由2行×5列的10个像素构成的像素区域。
在本变形例中，距离图像处理部4计算构成像素区域的像素321各自的像素值(距离值)的统计量。距离图像处理部4基于计算出的统计量，按照每个像素区域来决定将下次测定中的测定模式设为通常模式以及大范围模式中的哪个。
距离图像处理部4决定设为通常模式以及大范围模式中的哪个的方法与上述第二实施方式相同。具体地，距离图像处理部4按照每个像素区域，计算构成其像素区域的像素321各自的像素值(距离值)的统计量。距离图像处理部4在基于每个像素区域的统计量判定为在根据该像素区域距离测定出的空间中、在近距离至远距离的大范围存在被摄体OB的情况下，在下次测定中将该像素区域的测定模式设为大范围模式。另一方面，距离图像处理部4在基于每个像素区域的统计量判定为在根据该像素区域测定的空间中仅在近距离存在被摄体OB的情况下，将下次测定中的测定模式设为通常模式。
如以上说明那样，在第二实施方式的变形例的距离图像摄像装置1中，距离图像处理部4按照每个像素区域来计算像素321各自的像素值(距离值)的统计量。距离图像处理部4基于计算出的每个像素区域的统计量，按照每个像素区域来决定将下次测定中的测定模式设为通常模式以及大范围模式中的哪个。由此，在第二实施方式的变形例的距离图像摄像装置1中，能够按照每个像素区域来决定测定模式。因此，在仅在距离图像的一部分中对到在大范围存在的被摄体OB的距离进行测定那样的状况下，能够以仅对与这一部分对应的像素区域以大范围模式进行测定的方式进行对应。
上述实施方式中的距离图像摄像装置1、距离图像处理部4的全部或者一部分也可以通过计算机实现。在该情况下，可以通过将用于实现该功能的程序记录于计算机可读取的记录介质，将该记录介质所记录的程序读入到计算机系统并执行来实现。另外，此处所说的“计算机系统”包括OS、周边设备等硬件。另外，“计算机可读取的记录介质”是指软盘、光磁盘、ROM、CD－ROM等可移动介质、计算机系统内置的硬盘等存储装置。并且，“计算机可读取的记录介质”也包括如经由因特网等网络、电话线路等通信线路发送程序的情况下的通信线那样，在短时间的期间、动态地保持程序的介质，如成为该情况下的服务器、客户端的计算机系统内部的易失性存储器那样保持一定时间程序的介质。此外，上述程序可以是用于实现上述功能的一部分的程序，可以是通过与计算机系统已经记录的程序组合来实现上述功能的程序，也可以是使用FPGA等可编程逻辑器件来实现的程序。
以上，参照附图对该发明的实施方式进行了详细叙述，但具体构成并不限定于该实施方式，也包括不脱离本发明主旨的范围的设计、装置构成、校正处理、滤波处理等。

Claims (4)

1.一种距离图像摄像装置，具备：
光源部，向测定空间照射光脉冲；
受光部，具有像素以及像素驱动电路，所述像素具备产生与所入射的光相应的电荷的光电转换元件以及蓄积电荷的多个电荷蓄积部，所述像素驱动电路在与照射所述光脉冲的照射定时同步的规定的蓄积定时向所述电荷蓄积部分别分配电荷并使其蓄积；以及
距离图像处理部，基于所述电荷蓄积部分别蓄积的电荷量，计算到存在于所述测定空间的被摄体的距离，
所述距离图像处理部为，
对1帧设置多个蓄积循环，
控制成，在所述多个蓄积循环中，在比所述像素具备的所述电荷蓄积部的数量多的所述蓄积定时中的任意定时，向所述电荷蓄积部分别蓄积电荷，
控制成，在1帧中使所述电荷蓄积部分别蓄积电荷的次数的合计即合计次数相同，
控制成，在所述多个蓄积循环中的特定蓄积循环中使所述多个电荷蓄积部中的特定电荷蓄积部蓄积电荷的所述蓄积定时即第一蓄积定时、与在所述多个蓄积循环中的与所述特定蓄积循环不同的其他蓄积循环中使所述特定电荷蓄积部蓄积电荷的所述蓄积定时即第二蓄积定时的时间差分，成为与使所述电荷蓄积部分别蓄积电荷的蓄积时间不同的时间。
2.如权利要求1所述的距离图像摄像装置，其中，
所述距离图像处理部控制成，相比于与所述照射定时的差分小的所述蓄积定时，所述差分大的所述蓄积定时在1帧中蓄积电荷的合计时间变多。
3.如权利要求1所述的距离图像摄像装置，其中，
具备包括通常模式、大范围模式的多个测定模式，
所述通常模式是对到处于近距离的被摄体OB的距离进行测定、且不对到处于远距离的被摄体OB的距离进行测定的模式，
所述大范围模式是对到处于从近距离至远距离的大范围的被摄体OB的距离进行测定的模式，
所述距离图像处理部计算构成距离图像的所述像素各自的像素值的统计量，基于计算出的统计量来决定将下次测定中的测定模式设为所述通常模式以及所述大范围模式中的哪个。
4.一种距离图像摄像方法，由距离图像摄像装置进行，所述距离图像摄像装置具备：光源部，向测定空间照射光脉冲；受光部，具有像素以及像素驱动电路，所述像素具备产生与所入射的光相应的电荷的光电转换元件以及蓄积电荷的多个电荷蓄积部，所述像素驱动电路在与照射所述光脉冲的照射定时同步的规定的蓄积定时向所述电荷蓄积部分别分配电荷并使其蓄积；以及距离图像处理部，基于所述电荷蓄积部分别蓄积的电荷量，计算到存在于所述测定空间的被摄体的距离，其中，
所述距离图像处理部为，
对1帧设置多个蓄积循环，
控制成，在所述多个蓄积循环中，在比所述像素具备的所述电荷蓄积部的数量多的所述蓄积定时中的任意定时，向所述电荷蓄积部分别蓄积电荷，
控制成，在1帧中使所述电荷蓄积部分别蓄积电荷的次数的合计即合计次数相同，
控制成，在所述多个蓄积循环中的特定蓄积循环中使所述多个电荷蓄积部中的特定电荷蓄积部蓄积电荷的所述蓄积定时即第一蓄积定时、与在所述多个蓄积循环中的与所述特定蓄积循环不同的其他蓄积循环中使所述特定电荷蓄积部蓄积电荷的所述蓄积定时即第二蓄积定时的时间差分，成为与使所述电荷蓄积部分别蓄积电荷的蓄积时间不同的时间。
CN202311653027.6A 2022-12-07 2023-12-05 距离图像摄像装置以及距离图像摄像方法 Pending CN118158506A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2022-195502 2022-12-07
JP2023-183197 2023-10-25
JP2023183197A JP2024082236A (ja) 2022-12-07 2023-10-25 距離画像撮像装置、及び距離画像撮像方法

Publications (1)

Publication Number Publication Date
CN118158506A true CN118158506A (zh) 2024-06-07

Family

ID=91299186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311653027.6A Pending CN118158506A (zh) 2022-12-07 2023-12-05 距离图像摄像装置以及距离图像摄像方法

Country Status (1)

Country Link
CN (1) CN118158506A (zh)

Similar Documents

Publication Publication Date Title
WO2021020496A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
JP7016183B2 (ja) 距離画像撮像装置、および距離画像撮像方法
US12132882B2 (en) Detection device and detection method using avalanche diode array and calibration matrix generating method thereof
CN113544544B (zh) 距离图像拍摄装置以及由距离图像拍摄装置实施的距离图像拍摄方法
CN113518930B (zh) 距离图像传感器以及距离图像拍摄装置
JP7363899B2 (ja) 距離画像撮像装置及び距離画像撮像方法
CN118158506A (zh) 距离图像摄像装置以及距离图像摄像方法
WO2022154073A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2024082236A (ja) 距離画像撮像装置、及び距離画像撮像方法
US20240192374A1 (en) Distance image capturing device and distance image capturing method
JP2024014073A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP7253846B2 (ja) 距離画像センサ及び距離画像撮像装置
CN118974592A (zh) 距离图像摄像装置以及距离图像摄像方法
US20230333218A1 (en) Range imaging apparatus and range imaging method
JP2023156731A (ja) 距離画像撮像装置、及び距離画像撮像方法
WO2023234253A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2023147558A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2023180900A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP7572578B2 (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2022112388A (ja) 距離画像撮像装置、及び距離画像撮像方法
CN116868087A (zh) 距离图像摄像装置及距离图像摄像方法
WO2021235542A1 (ja) 距離画像撮像装置及び距離画像撮像方法
WO2021070212A1 (ja) 距離画像撮像装置及び距離画像撮像方法
JP2022162392A (ja) 距離画像撮像装置、及び距離画像撮像方法
CN116745645A (zh) 距离图像摄像装置以及距离图像摄像方法

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination