CN114175618A - 距离图像摄像装置以及距离图像摄像方法 - Google Patents

距离图像摄像装置以及距离图像摄像方法 Download PDF

Info

Publication number
CN114175618A
CN114175618A CN202080054290.1A CN202080054290A CN114175618A CN 114175618 A CN114175618 A CN 114175618A CN 202080054290 A CN202080054290 A CN 202080054290A CN 114175618 A CN114175618 A CN 114175618A
Authority
CN
China
Prior art keywords
charge
light
distance
period
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080054290.1A
Other languages
English (en)
Other versions
CN114175618B (zh
Inventor
赤堀知行
大久保优
畠山邦广
高桥聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toppan Inc
Brookman Technology Inc
Original Assignee
Toppan Printing Co Ltd
Brookman Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toppan Printing Co Ltd, Brookman Technology Inc filed Critical Toppan Printing Co Ltd
Publication of CN114175618A publication Critical patent/CN114175618A/zh
Application granted granted Critical
Publication of CN114175618B publication Critical patent/CN114175618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

具备：光源部，向测定对象的空间即测定空间照射光脉冲；受光部，具有像素以及像素驱动电路，该像素具备产生与所入射的光相应的电荷的光电转换元件以及蓄积上述电荷的多个电荷蓄积部，该像素驱动电路在与上述光脉冲的照射同步的规定的蓄积定时，将上述电荷分配蓄积于上述像素中的各个电荷蓄积部；以及距离图像处理部，基于上述电荷蓄积部分别蓄积的电荷量，测定到存在于上述测定空间的被摄体为止的距离，上述距离图像处理部具有根据测定模式对上述蓄积定时进行控制的定时控制部，该测定模式是根据作为测定对象的距离的范围而预先设定的。

Description

距离图像摄像装置以及距离图像摄像方法
技术领域
本发明涉及距离图像摄像装置以及距离图像摄像方法。
本申请主张2019年8月1日在日本提交的特愿2019-142536号的优先权，将其内容援用于此。
背景技术
以往已知有一种飞行时间(Time of Flight，以下称为“TOF”)方式的距离图像摄像装置，其利用光的速度为已知这一点，基于光的飞行时间来测定与被摄体之间的距离。在距离图像摄像装置中，与摄像装置同样，以二维矩阵状配置有多个对用于测定距离的光进行检测的像素，能够对与被摄体之间的二维距离的信息、被摄体的图像进行取得(摄像)。
在要使用这种距离图像摄像装置来高精度地测定到存在于远距离处的物体为止的距离的情况下，存在使分配次数(曝光量)增加的方法。但是，除了存在于远距离处的物体以外，有时在近距离处还存在其他物体。在这种状况下，若对存在于远距离处以及近距离处的双方的物体同时照射光，则来自存在于近距离处的物体的反射光，以比来自存在于远距离处的物体的反射光更大的强度被受光。若对这种较大强度的反射光进行了受光，则在距离图像摄像装置内的透镜等光学系统中会产生被称为耀斑现象的多重反射。该耀斑现象使对用于测定存在于远距离处的物体的距离的光进行检测的像素的受光量产生影响，成为使测定的距离产生误差的重要因素。
作为对多重反射的产生进行抑制而使测定距离的误差降低的对策，通过在距离图像摄像装置内的光学设计和光学原料、测定环境这些方面下功夫，能够降低或者避免耀斑现象。但是，另一方面，需要对透镜进行特殊的加工，存在成本上升或者测定环境受到限制的问题。
作为与上述对策不同的对策，可以想到进行从像素的受光量中除去由耀斑现象引起的受光成分的处理。在专利文献1中公开了使用基准电荷量比的数据库来除去由耀斑现象引起的受光成分的技术。基准电荷量比是在未产生耀斑的情况下的理想环境下测定对象物而得到的每个距离的电荷量之比。
现有技术文献
专利文献
专利文献1：日本专利第6298236号公报
发明内容
发明要解决的课题
然而，在专利文献1的技术中，需要制作基准电荷量比的数据库。为了高精度地除去由耀斑现象引起的受光成分，必须在构建了不产生耀斑的理想环境的基础上，制作细微地分割距离而取样的详细的数据库。因此，存在花费制作数据库的工时这样的问题。
本发明是基于上述课题而进行的，其目的在于提供距离图像摄像装置以及距离图像摄像方法，不改变装置内的光学构成且不制作表示理想环境下的距离与电荷量比之间的关系的数据库就能够抑制耀斑现象的影响。
用于解决课题的手段
本发明的距离图像摄像装置具备：光源部，向测定对象的空间即测定空间照射光脉冲；受光部，具有像素以及像素驱动电路，该像素具备产生与所入射的光相应的电荷的光电转换元件以及蓄积上述电荷的多个电荷蓄积部，该像素驱动电路在与上述光脉冲的照射同步的规定的蓄积定时，将上述电荷分配蓄积于上述像素中的各个电荷蓄积部；以及距离图像处理部，基于上述电荷蓄积部分别蓄积的电荷量，测定到存在于上述测定空间的被摄体为止的距离，上述距离图像处理部具有根据测定模式对上述蓄积定时进行控制的定时控制部，该测定模式是根据作为测定对象的距离的范围而预先设定的。
在本发明的距离图像摄像装置中，上述像素的多个上述电荷蓄积部包括第1电荷蓄积部、第2电荷蓄积部以及第3电荷蓄积部，上述定时控制部为，在上述测定模式为远距离模式的情况下，在不照射上述光脉冲的截止状态的外光蓄积期间，使上述第1电荷蓄积部蓄积上述电荷，并至少将耀斑光受光期间设为在上述电荷蓄积部的任一个中都不蓄积上述电荷的非蓄积期间，在上述非蓄积期间经过后，将与在反射光受光期间向上述受光部入射的光量相当的电荷，分配蓄积于上述第2电荷蓄积部以及第3电荷蓄积部，上述耀斑光受光期间是从照射上述光脉冲的期间即照射期间延迟了规定的脉冲光延迟时间的期间，上述反射光受光期间是从上述照射期间延迟了比上述脉冲光延迟时间长的反射光延迟时间的期间，上述耀斑光受光期间与上述反射光受光期间是相互不重复的期间。
在本发明的距离图像摄像装置中，上述像素的多个上述电荷蓄积部包括第1电荷蓄积部、第2电荷蓄积部以及第3电荷蓄积部，上述定时控制部为，在上述测定模式为中距离模式的情况下，将与在耀斑光受光期间向上述受光部入射的光量相当的电荷，分配蓄积于上述第1电荷蓄积部以及第2电荷蓄积部，将与在反射光受光期间向上述受光部入射的光量相当的电荷，分配蓄积于上述第2电荷蓄积部以及第3电荷蓄积部，上述耀斑光受光期间是从照射上述光脉冲的期间即照射期间延迟了规定的脉冲光延迟时间的期间，上述反射光受光期间是从上述照射期间延迟了比上述脉冲光延迟时间长的反射光延迟时间的期间，上述耀斑光受光期间与上述反射光受光期间是至少一部分相互重复的期间，上述距离图像处理部基于在上述中距离模式下上述电荷蓄积部分别蓄积的电荷量，从上述电荷量中提取由耀斑光引起的耀斑光成分，并基于将所提取到的耀斑光成分从上述电荷量中除去后的值，测定到上述被摄体为止的距离。
在本发明的距离图像摄像装置中，上述定时控制部为，作为上述测定模式而在上述中距离模式以及中距离外光模式下进行测定，在上述测定模式为中距离外光模式的情况下，在不照射上述光脉冲的截止状态的外光蓄积期间，使上述第1电荷蓄积部蓄积上述电荷，上述距离图像处理部为，基于在上述中距离模式下上述电荷蓄积部分别蓄积的电荷量，提取由耀斑光引起的耀斑光成分，基于在上述中距离外光模式下上述电荷蓄积部分别蓄积的电荷量，提取由外光引起的外光成分，使用所提取到的上述耀斑光成分以及上述外光成分，测定到上述被摄体为止的距离。
在本发明的距离图像摄像装置中，上述定时控制部为，在上述测定模式为上述中距离外光模式的情况下，在上述光脉冲为上述截止状态的外光蓄积期间，使上述第1电荷蓄积部蓄积上述电荷，并将耀斑光受光期间设为在上述电荷蓄积部的任一个中都不蓄积上述电荷的非蓄积期间，将与在反射光受光期间向上述受光部入射的光量相当的电荷，分配蓄积于上述第2电荷蓄积部以及第3电荷蓄积部，上述距离图像处理部通过将在上述中距离模式下上述电荷蓄积部分别蓄积的电荷量与在上述中距离外光模式下上述电荷蓄积部分别蓄积的电荷量进行合成，来测定到存在于上述测定空间的被摄体为止的距离。
在本发明的距离图像摄像装置中，上述距离图像处理部为，在上述中距离模式下，提取使上述第1电荷蓄积部所蓄积的电荷量为常数倍后的值，作为上述第2电荷蓄积部所蓄积的电荷量中包含的、由耀斑光引起的耀斑光成分。
在本发明的距离图像摄像装置中，上述像素的多个上述电荷蓄积部包括第1电荷蓄积部、第2电荷蓄积部、第3电荷蓄积部以及第4电荷蓄积部，上述定时控制部为，在不照射上述光脉冲的截止状态的外光蓄积期间，使上述第1电荷蓄积部蓄积上述电荷，将与在耀斑光受光期间向上述受光部入射的光量相当的电荷，分配蓄积于上述第2电荷蓄积部以及第3电荷蓄积部，将与在反射光受光期间向上述受光部入射的光量相当的电荷，分配蓄积于上述第3电荷蓄积部以及第4电荷蓄积部，上述耀斑光受光期间是从照射上述光脉冲的期间即照射期间延迟了规定的脉冲光延迟时间的期间，上述反射光受光期间是从上述照射期间延迟了比上述脉冲光延迟时间长的反射光延迟时间的期间。
在本发明的距离图像摄像装置中，还具备对测定进行控制的测定控制部，上述测定控制部为，使上述测定模式为第1通常模式而测定到上述被摄体为止的距离，在上述第1通常模式下，基于电荷蓄积部分别蓄积的电荷量，判定在上述测定空间中是否存在与上述被摄体相比存在于近距离处的近距离物体，在上述测定空间中存在上述近距离物体的情况下，变更上述测定模式而再次进行测定，上述像素的多个上述电荷蓄积部包括第1电荷蓄积部、第2电荷蓄积部以及第3电荷蓄积部，上述定时控制部为，在上述测定模式为上述第1通常模式的情况下，在不照射上述光脉冲的截止状态的外光蓄积期间，使上述第1电荷蓄积部蓄积上述电荷，在成为照射上述光脉冲的导通状态之后的规定的反射光受光期间，按照规定的累计次数反复执行使上述第2电荷蓄积部以及第3电荷蓄积部依次蓄积上述电荷的蓄积周期。
在本发明的距离图像摄像装置中，上述测定控制部为，在上述第1通常模式下，在上述第2电荷蓄积部所蓄积的电荷量为规定的阈值以上的情况下，判断为在上述测定空间中存在上述近距离物体。
本发明的距离图像摄像方法通过距离图像摄像装置来执行，该距离图像摄像装置具备：光源部，向测定对象的空间即测定空间照射光脉冲；受光部，具有像素以及像素驱动电路，该像素具备产生与所入射的光相应的电荷的光电转换元件以及蓄积上述电荷的多个电荷蓄积部，该像素驱动电路在与上述光脉冲的照射同步的规定的蓄积定时，将上述电荷分配蓄积于上述像素中的各个电荷蓄积部；距离图像处理部，基于上述电荷蓄积部分别蓄积的电荷量，测定到存在于上述测定空间的被摄体为止的距离；以及定时控制部，对上述蓄积定时进行控制，该距离图像摄像方法具有由上述定时控制部根据测定模式对上述蓄积定时进行控制的工序，该测定模式是根据作为测定对象的距离的范围而预先设定的。
发明的效果
根据本发明，不改变装置内的光学构成且不使用数据库就能够抑制耀斑现象的影响。
附图说明
图1是表示第1实施方式的距离图像摄像装置的概略构成的框图。
图2是表示第1实施方式的距离图像摄像装置所使用的摄像元件的概略构成的框图。
图3是表示第1实施方式的距离图像摄像装置所使用的摄像元件的受光区域中配置的像素的构成的一个例子的电路图。
图4是表示第1实施方式的远距离模式下的驱动像素的定时的时序图。
图5A是表示第1实施方式的中距离模式下的驱动像素的定时的时序图。
图5B是表示第1实施方式的中距离模式下的驱动像素的定时的时序图。
图6是表示第1实施方式的中距离外光模式下的驱动像素的定时的时序图。
图7是说明第1实施方式的中距离模式以及中距离外光模式的帧合成的图。
图8A是说明第1实施方式的中距离模式的变形例的图。
图8B是说明第1实施方式的中距离模式的变形例的图。
图9A是说明第1实施方式的中距离模式下的效果的图。
图9B是说明第1实施方式的中距离模式下的效果的图。
图9C是说明第1实施方式的中距离模式下的效果的图。
图9D是说明第1实施方式的中距离模式下的效果的图。
图9E是说明第1实施方式的中距离模式下的效果的图。
图9F是说明第1实施方式的中距离模式下的效果的图。
图10是表示第1实施方式的距离图像摄像装置1中的处理流程的流程图。
图11是表示第2实施方式的距离图像摄像装置1中的驱动像素的定时的时序图。
图12A是表示以往的测定中的驱动像素的定时的时序图。
图12B是说明实施方式中的耀斑光的概念的图。
图12C是说明在以往的测定中受光到耀斑光的情况下的精度的劣化的图。
具体实施方式
以下，参照附图对实施方式的距离图像摄像装置进行说明。
＜第1实施方式＞
首先，对第1实施方式进行说明。
图1是表示本发明的第1实施方式的距离图像摄像装置的概略构成的框图。图1所示的构成的距离图像摄像装置1具备光源部2、受光部3以及距离图像处理部4。在图1中还一并示出了在距离图像摄像装置1中测定距离的对象物即被摄体S。
光源部2根据来自距离图像处理部4的控制，向在距离图像摄像装置1中测定距离的对象的被摄体S所存在的摄影对象的空间中照射光脉冲PO。光源部2例如是垂直共振腔表面发光激光器(VCSEL：Vertical Cavity Surface Emitting Laser)等面发光型的半导体激光模块。光源部2具备光源装置21以及扩散板22。
光源装置21是发出成为向被摄体S照射的光脉冲PO的近红外波段(例如，波长为850nm～940nm的波段)的激光的光源。光源装置21例如是半导体激光发光元件。光源装置21根据来自定时控制部41的控制而发出脉冲状的激光。
扩散板22是将光源装置21发出的近红外波段的激光扩散为向被摄体S照射的面的面积的光学部件。扩散板22所扩散的脉冲状的激光作为光脉冲PO而射出，并照射于被摄体S。
受光部3对由在距离图像摄像装置1中测定距离的对象的被摄体S反射后的光脉冲PO的反射光RL进行受光，并输出与所受光的反射光RL相应的像素信号。受光部3具备透镜31以及距离图像传感器32。
透镜31是将所入射的反射光RL向距离图像传感器32引导的光学透镜。透镜31将所入射的反射光RL向距离图像传感器32侧射出，并使其由距离图像传感器32的受光区域所具备的像素受光(入射)。
距离图像传感器32是距离图像摄像装置1所使用的摄像元件。距离图像传感器32在二维的受光区域中具备多个像素。在距离图像传感器32的各个像素中，设置有一个光电转换元件、与该一个光电转换元件对应的多个电荷蓄积部、以及将各个电荷蓄积部分配电荷的构成要素。即，像素是使电荷向多个电荷蓄积部分配而蓄积的分配构成的摄像元件。
距离图像传感器32根据来自定时控制部41的控制，将光电转换元件产生的电荷向各个电荷蓄积部分配。此外，距离图像传感器32输出与分配给电荷蓄积部的电荷量相应的像素信号。在距离图像传感器32中，多个像素被配置为二维的矩阵状，输出各个像素的对应的1帧量的像素信号。
距离图像处理部4对距离图像摄像装置1进行控制，并对到被摄体S为止的距离进行运算。距离图像处理部4具备定时控制部41、距离运算部42、以及测定控制部43。
定时控制部41根据测定控制部43的控制，对输出测定所需的各种控制信号的定时进行控制。此处的各种控制信号，例如是对光脉冲PO的照射进行控制的信号、将反射光RL向多个电荷蓄积部分配的信号、对每1帧的分配次数进行控制的信号等。分配次数是指，向电荷蓄积部CS(参照图3)分配电荷的处理的重复次数。
距离运算部42基于从距离图像传感器32输出的像素信号，输出运算到被摄体S为止的距离而得的距离信息。距离运算部42基于多个电荷蓄积部所蓄积的电荷量，计算从照射光脉冲PO起到对反射光RL进行受光为止的延迟时间Td(参照图12A)。距离运算部42根据计算出的延迟时间Td来运算到被摄体S为止的距离。
测定控制部43根据测定环境，从多个测定模式中选择一个测定模式。测定模式按照进行测定的每个环境来设置，按照照射光脉冲PO的定时及将反射光RL向多个电荷蓄积部分配的定时相互不同的关系而被规定。进行测定的环境根据作为测定对象的距离的范围、以及是否考虑成为测定精度劣化的重要因素的耀斑光等而被区分。关于测定模式的详细内容将在之后详细说明。
通过这种构成，在距离图像摄像装置1中，受光部3对光源部2向被摄体S照射的近红外波段的光脉冲PO由被摄体S反射后的反射光RL进行受光，距离图像处理部4输出测定与被摄体S之间的距离而得的距离信息。
在图1中示出在内部具备距离图像处理部4的构成的距离图像摄像装置1，但距离图像处理部4也可以是设置在距离图像摄像装置1外部的构成要素。
接下来，对在距离图像摄像装置1中作为摄像元件而使用的距离图像传感器32的构成进行说明。图2是表示在本发明的第1实施方式的距离图像摄像装置1中使用的摄像元件(距离图像传感器32)的概略构成的框图。
如图2所示那样，距离图像传感器32例如具备配置有多个像素321的受光区域320、控制电路322、具有分配动作的垂直扫描电路323、水平扫描电路324、以及像素信号处理电路325。
受光区域320是配置有多个像素321的区域，在图2中示出了配置为8行8列的二维矩阵状的例子。像素321蓄积与所受光的光量相当的电荷。控制电路322对距离图像传感器32统一地进行控制。控制电路322例如根据来自距离图像处理部4的定时控制部41的指示，对距离图像传感器32的构成要素的动作进行控制。距离图像传感器32所具备的构成要素的控制也可以是由定时控制部41直接进行的构成，在该情况下，还能够省略控制电路322。
垂直扫描电路323是根据来自控制电路322的控制，按照每个行来对配置于受光区域320的像素321进行控制的电路。垂直扫描电路323使与像素321的电荷蓄积部CS分别蓄积的电荷量相应的电压信号向像素信号处理电路325输出。在该情况下，垂直扫描电路323将通过光电转换元件转换后的电荷向像素321的电荷蓄积部分别分配。即，垂直扫描电路323是“像素驱动电路”的一个例子。
像素信号处理电路325是根据来自控制电路322的控制，对从各个列的像素321向对应的垂直信号线输出的电压信号进行预先设定的信号处理(例如，降噪处理、A/D转换处理等)的电路。
水平扫描电路324是根据来自控制电路322的控制，使从像素信号处理电路325输出的信号向水平信号线依次输出的电路。由此，与蓄积了1帧量的电荷量相当的像素信号经由水平信号线向距离图像处理部4依次输出。
在以下的说明中，像素信号处理电路325进行A/D转换处理，像素信号为数字信号而进行说明。
在此，对距离图像传感器32所具备的受光区域320内所配置的像素321的构成进行说明。图3是表示在本发明的第1实施方式的距离图像摄像装置1所使用的摄像元件(距离图像传感器32)的受光区域320内所配置的像素321的构成的一个例子的电路图。图3表示在受光区域320内所配置的多个像素321中的一个像素321的构成的一个例子。像素321是具备3个像素信号读出部的构成的一个例子。
像素321具备1个光电转换元件PD、漏栅晶体管GD、从对应的输出端子O输出电压信号的3个像素信号读出部RU。像素信号读出部RU分别具备读出栅极晶体管G、浮动扩散区FD、电荷蓄积容量C、复位栅极晶体管RT、源极跟随栅极晶体管SF以及选择栅极晶体管SL。在各个像素信号读出部RU中，由浮动扩散区FD和电荷蓄积容量C构成电荷蓄积部CS。
在图3中，通过在3个像素信号读出部RU的符号“RU”之后赋予“1”、“2”或者“3”的数字来对各个像素信号读出部RU进行区别。此外，同样，3个像素信号读出部RU所具备的各个构成要素，也通过将表示像素信号读出部RU的数字示出在符号之后来区别表示各个构成要素对应的像素信号读出部RU。
在图3所示的像素321中，从输出端子O1输出电压信号的像素信号读出部RU1具备读出栅极晶体管G1、浮动扩散区FD1、电荷蓄积容量C1、复位栅极晶体管RT1、源极跟随栅极晶体管SF1、以及选择栅极晶体管SL1。在像素信号读出部RU1中，通过浮动扩散区FD1和电荷蓄积容量C1构成电荷蓄积部CS1。像素信号读出部RU2以及像素信号读出部RU3都是同样的构成。电荷蓄积部CS1是“第1电荷蓄积部”的一个例子。电荷蓄积部CS2是“第2电荷蓄积部”的一个例子。电荷蓄积部CS3是“第3电荷蓄积部”的一个例子。
光电转换元件PD是对所入射的光进行光电转换而产生电荷，并蓄积所产生的电荷的嵌入式的光电二极管。光电转换元件PD的构造可以任意地选择。光电转换元件PD例如可以是将P型半导体与N型半导体接合的构造的PN光电二极管，也可以是在P型半导体与N型半导体之间夹有I型半导体的构造的PIN光电二极管。此外，光电转换元件PD不限定于光电二极管，例如也可以是光电门方式的光电转换元件。
在像素321中，将光电转换元件PD对所入射的光进行光电转换而产生的电荷向3个电荷蓄积部CS分别分配，并将与所分配的电荷的电荷量相应的各个电压信号向像素信号处理电路325输出。
距离图像传感器32中配置的像素的构成不限定于图3所示那样具备3个像素信号读出部RU的构成，只要是具备多个像素信号读出部RU的构成的像素即可。即，距离图像传感器32中配置的像素所具备的像素信号读出部RU(电荷蓄积部CS)的数量可以是2个，也可以是4个以上。
此外，在图3所示的构成的像素321中，示出了由浮动扩散区FD和电荷蓄积容量C构成电荷蓄积部CS的一个例子。但是，电荷蓄积部CS只要至少由浮动扩散区FD构成即可，像素321也可以是不具备电荷蓄积容量C的构成。
此外，在图3所示的构成的像素321中，示出了具备漏栅晶体管GD的构成的一个例子，但在不需要废弃光电转换元件PD所蓄积(残留)的电荷的情况下，也可以是不具备漏栅晶体管GD的构成。
接下来，使用图12A对距离图像摄像装置1中的像素321的驱动(控制)方法进行说明。图12A是表示以往的距离图像摄像装置中的驱动像素的驱动信号的定时的时序图。
在图12A中，分别将照射光脉冲PO照射的定时以“Light”的项目名表示，将反射光被受光的定时以“REFRECTION_B”的项目名表示，将驱动信号TX1的定时以“G1”的项目名表示，将驱动信号TX2的定时以“G2”的项目名表示，将驱动信号TX3的定时以“G3”的项目名表示，将驱动信号RSTD的定时以“GD”的项目名表示。此外，将距离图像摄像装置中的一系列的受光动作定时以“Camera”的项目名表示。在“Camera”中，将读出栅极晶体管G1、G2、G3、以及漏栅晶体管GD成为导通状态的定时分别以“G1”、“G2”、“G3”以及“GD”表示。驱动信号TX1是使读出栅极晶体管G1驱动的信号。驱动信号TX2、TX3也同样。
如图12A所示那样，在照射时间To照射光脉冲PO，在延迟了延迟时间Td之后反射光RL被距离图像传感器32受光。垂直扫描电路323与光脉冲PO的照射同步地按照电荷蓄积部CS1、CS2以及CS3的顺序使它们蓄积电荷。
首先，垂直扫描电路323使读出栅极晶体管G1成为导通状态。由此，由光电转换元件PD光电转换后的电荷经由读出栅极晶体管G1而蓄积于电荷蓄积部CS1。然后，垂直扫描电路323使读出栅极晶体管G1成为截止状态。由此，电荷向电荷蓄积部CS1的转送停止。如此，垂直扫描电路323使电荷蓄积部CS1蓄积电荷。
接下来，垂直扫描电路323在使电荷向电荷蓄积部CS1的蓄积结束的定时，使读出栅极晶体管G2成为导通状态，使电荷向电荷蓄积部CS2的蓄积开始。以后的使电荷蓄积部CS2蓄积电荷的处理流程，与使电荷蓄积部CS1蓄积电荷的处理流程相同，因此省略其说明。
另一方面，光源部2在读出栅极晶体管G1成为截止状态的定时、即读出栅极晶体管G2成为导通状态的定时，照射光脉冲PO。光源部2照射光脉冲PO的照射时间To与蓄积期间Ta为相同长度。在此，读出栅极晶体管G1成为导通状态并向电荷蓄积部CS1蓄积电荷的期间(蓄积期间Ta)，是“外光蓄积期间”的一个例子。
接下来，垂直扫描电路323在使电荷向电荷蓄积部CS2的蓄积结束的定时，使读出栅极晶体管G3成为导通状态，使电荷向电荷蓄积部CS3的蓄积开始。以后的使电荷蓄积部CS3蓄积电荷的处理流程与使电荷蓄积部CS1蓄积电荷的处理流程相同，因此省略其说明。
接下来，垂直扫描电路323在使电荷向电荷蓄积部CS3的蓄积结束的定时，使漏栅晶体管GD成为导通状态而进行电荷的排出。由此，由光电转换元件PD光电转换后的电荷经由漏栅晶体管GD而被废弃。
上述那样的垂直扫描电路323使电荷向电荷蓄积部CS的蓄积以及使光电转换元件PD进行光电转换后的电荷的废弃，跨及1帧地反复进行。由此，在规定的时间区间中将与距离图像摄像装置1所受光的光量相当的电荷蓄积在电荷蓄积部CS的各自中。水平扫描电路324将与电荷蓄积部CS分别蓄积的1帧量的电荷量相当的电信号，向距离运算部42输出。
根据照射光脉冲PO的定时与使电荷蓄积部CS分别蓄积电荷的定时之间的关系，在电荷蓄积部CS1中保持有与照射光脉冲PO之前的背景光等外光成分相当的电荷量。此外，在电荷蓄积部CS2以及CS3中，分别保持有与反射光RL以及外光成分相当的电荷量。分配到电荷蓄积部CS2以及CS3的电荷量的配比(分配比率)，是与光脉冲PO由被摄体S反射而向距离图像摄像装置1入射为止的延迟时间Td相应的比率。
距离运算部42利用该原理，通过以下的(1)式来计算延迟时间Td。
Td＝To×(Q3-Q1)/(Q2+Q3-2×Q1) ……(1)
在此，To表示照射光脉冲PO的期间，Q1表示电荷蓄积部CS1所蓄积的电荷量，Q2表示电荷蓄积部CS2所蓄积的电荷量，Q3表示电荷蓄积部CS3所蓄积的电荷量。在(1)式中，以电荷蓄积部CS2以及CS3所蓄积的电荷量中的与外光成分相当的成分与电荷蓄积部CS1所蓄积的电荷量同量的情况为前提。
距离运算部42通过对通过(1)式求出的延迟时间乘以光速(速度)，来计算出与被摄体S之间的往返距离。然后，距离运算部42使在上述中计算出的往返距离成为1/2，由此求出到被摄体S为止的距离。
在此，使用图12B、图12C对耀斑光进行说明。
图12B是说明耀斑光的概念的图。
如图12B所示那样，考虑在能够照射光脉冲PO的测定对象的测定空间E之中存在于与距离图像摄像装置1的距离比较远的位置处(以下，记载为存在于远距离处等)的物体B为被摄体的情况。
在到被摄体为止的距离为远距离的情况下，与测定存在于与距离图像摄像装置1的距离比较近的位置处的物体的情况相比较，反射光RL的光量降低。若反射光RL的光量降低，则成为测定的距离的精度劣化的重要因素。因此，在到被摄体为止的距离为远距离的情况下，可以考虑使分配次数增加而使曝光量(距离图像传感器32受光的光量)增加，使测定的精度提高。
然而，如图12B的截面放大图所示那样，在所受光的光的一部分经由透镜31而到达距离图像传感器32时，有时在距离图像摄像装置1内进行多重反射。在该情况下，会在与来自物体的反射光本来应成像的位置不同的位置处对光(耀斑光)进行受光。这样的耀斑光会成为使测定精度劣化的重要因素。
特别是，除了存在于远距离处的被摄体(物体B)以外在与距离图像摄像装置1之间的距离比较近的位置处(以下，称为近距离等)也存在物体A的情况下，若使曝光量增加，则来自物体A的反射光RL的光量增大。在该情况下，由于来自物体A的反射光RL而引起的耀斑光的光量变大，会成为使测定精度较大程度劣化的重要因素。
图12C是说明在以往的测定中耀斑光被受光的情况的图。图12C中的“FLARE＿A”表示由于来自物体A(存在于近距离处的物体)的反射光等而引起的耀斑光。“REFRECTION＿B”表示来自物体B(存在于远距离处的被摄体)的反射光。此外，“Light”等项目与图12A相同，因此省略其说明。
假设如图12C所示那样，在照射时间To照射光脉冲PO，延迟了延迟时间Tb后耀斑光被距离图像传感器32受光，延迟了延迟时间Td后反射光RL被距离图像传感器32受光。在该情况下，在电荷蓄积部CS2以及CS3中，除了与反射光RL以及外光成分相当的电荷量以外，还蓄积与耀斑光相当的电荷量。即使对这样的混有耀斑光的电荷量应用(1)式，也难以高精度地运算距离。
作为解决这样的问题点的对策，在本实施方式中，对多个测定模式进行规定。测定模式各自中相对于光脉冲PO的照射定时，将电荷向电荷蓄积部分配的定时设为相互不同定时。
例如，测定模式根据作为测定对象的距离的范围而被规定。所谓作为测定对象的距离的范围，根据基于从照射光脉冲PO起到对反射光RL进行受光为止的延迟时间Td运算出的距离而被区分。距离的范围例如是根据与距离图像摄像装置1之间的距离而被区分的、远距离、中距离及近距离这3个范围。例如，在光脉冲PO的照射时间To为10ns的情况下，近距离为大体0～75cm，中距离为大体75cm～2.25m，远距离为大体2.25m以上的范围。
此外，测定模式根据是否采取抑制耀斑光的产生的对策(以下，称为针对耀斑光的对策)而被规定。在近距离处存在除被摄体之外的物体的情况下，采取抑制耀斑光的产生的对策。另一方面，在近距离处不存在除被摄体之外的物体的情况下，不采取针对耀斑光的对策。
在本实施方式中，作为测定模式，例如分别规定远距离模式、中距离模式、中距离外光模式、通常模式1(第1通常模式)、通常模式2(第2通常模式)。
远距离模式是在近距离处可能存在除被摄体之外的物体的状况下高精度地测定到存在于远距离处的被摄体为止的距离的模式。即，远距离模式是对于存在于远距离处的被摄体采取针对耀斑光的对策而进行测定的模式。
中距离模式是在近距离处可能存在除被摄体之外的物体的状况下高精度地测定到存在于中距离处的被摄体为止的距离的模式。即，中距离模式是对于存在于中距离处的被摄体采取针对耀斑光的对策而进行测定的模式。
中距离外光模式是在中距离模式下进行测定时、对与外光相当的电荷量进行测定的模式。中距离外光模式是在以中距离模式进行测定时，在考虑外光的情况下使用的模式。
通常模式1是在假定在近距离处不存在除被摄体之外的物体的状况下，测定到存在于远距离处的被摄体为止的距离的模式。即，通常模式1是对于存在于远距离处的被摄体不采取针对耀斑光的对策而进行测定的模式。通常模式1是进行以往的测定的模式。
通常模式2是测定到存在于近距离处的物体为止的距离的模式。通常模式2是进行以往的测定的模式，且是与通常模式1相比抑制了曝光量(即，分配次数较少)的模式。
以下，对远距离模式、中距离模式以及中距离外光模式依次进行说明。
(远距离模式)
首先，使用图4对远距离模式进行说明。图4是表示第1实施方式的远距离模式下的驱动像素321的定时的时序图。在图4的“Camera”项目中，在从“G1”到“G2”的期间，将漏栅晶体管GD成为导通状态的定时用“GD2”表示。关于其他的“Light”等项目，由于与图12C相同，因此省略其说明。
如图4的例子所示那样，在照射时间To照射光脉冲PO，延迟了延迟时间Tb之后耀斑光被距离图像传感器32受光，延迟了延迟时间Td之后反射光RL被距离图像传感器32受光。
远距离模式是在假定为作为被摄体的物体B与成为产生耀斑光的重要因素的物体A相对于距离图像摄像装置1的距离远离的状况下而使用的。即，在以与延迟时间Tb相比较延迟时间Td较大而耀斑光与反射光RL不会同时被受光的情况为前提的状况下，使用远距离模式。在远距离模式下，在以上述情况为前提的基础上，调整照射光脉冲PO的定时以及向电荷蓄积部CS蓄积电荷的定时，使得不蓄积由耀斑光引起的电荷。
具体地说，首先，垂直扫描电路323在照射光脉冲PO的定时之前，在蓄积期间Ta的期间，使读出栅极晶体管G1成为导通状态，使电荷蓄积部CS1蓄积与外光相当的电荷。
接下来，垂直扫描电路323使漏栅晶体管GD成为导通状态。由此，通过光电转换元件PD进行光电转换后的电荷被废弃(排出)。因此，在漏栅晶体管GD成为导通状态的期间所受光的耀斑光被光电转换而成的电荷，不会蓄积于电荷蓄积部CS。
垂直扫描电路323至少将耀斑光被受光的期间(耀斑光受光期间)设为将光电转换后的电荷废弃(排出)的期间、即不蓄积电荷的“非蓄积期间”。
在远距离模式下，“耀斑光受光期间”与“反射光受光期间”是相互不重复的期间。
“耀斑光受光期间”是从自开始照射光脉冲PO的时间延迟了延迟时间Tb后的时间开始、到经过光脉冲照射时间To(照射期间)为止的期间。即，“耀斑光受光期间”是从光脉冲PO的照射时间To延迟了延迟时间Tb的期间。在此，延迟时间Tb是“脉冲光延迟时间”的一个例子。
“反射光受光期间”是从自开始照射光脉冲PO的照射的时间起延迟了延迟时间Td后的时间开始、到光脉冲照射时间To(照射期间)为止的期间。即，“反射光受光期间”是从光脉冲PO的照射时间To延迟了延迟时间Td的期间。在此，延迟时间Td是“反射光延迟时间”的一个例子。
接下来，垂直扫描电路323在使漏栅晶体管GD返回到截止状态的定时，使读出栅极晶体管G2以及G3依次在蓄积期间Ta的期间成为导通状态，将反射光RL向电荷蓄积部CS2、CS3分配而蓄积。由此，在电荷蓄积部CS1中蓄积与外光相当的电荷，在电荷蓄积部CS2、CS3中蓄积与反射光RL以及外光相当的电荷。由此，在远距离模式下，通过对与电荷蓄积部CS1～CS3所蓄积的电荷量相当的电信号应用(1)式，能够不受耀斑光影响地运算距离。
在图4的例子中，垂直扫描电路323从使读出栅极晶体管G1成为截止状态的时刻起、到从开始照射光脉冲PO的时刻经过期间TX为止的期间，使漏栅晶体管GD成为导通状态。期间TX是照射时间To与延迟时间Tb的合计值以上且是延迟时间Td以下((To+Tb)≦TX≦Td)的期间。
如此，在远距离模式下，将蓄积定时控制为，在受光耀斑光的期间不蓄积电荷，且在受光反射光的期间蓄积电荷。由此，即使在近距离处可能存在除被摄体之外的其他物体A的状况下，也能够高精度地测定到存在于远距离处的物体B为止的距离。
(中距离模式)
接下来，使用图5A以及图5B对中距离模式进行说明。图5A、图5B是表示第1实施方式的中距离模式下的驱动像素321的定时的时序图。关于图5A、图5B中的“Light”等项目，由于与图12C相同，因此省略其说明。
如后述那样，中距离模式不具有蓄积仅与外光相当的电荷的电荷蓄积部CS。即，无法提取电荷蓄积部CS分别蓄积的电荷量中包含的外光成分、并在除去了外光成分的基础上计算距离。因此，在外光成分对运算距离的结果产生的影响比较小的环境、例如外光的光量较小的环境中，能够通过中距离模式单独进行测定。在外光的光量较大、如果不除去外光成分则距离的运算精度会劣化的环境中，需要利用后述的中距离外光模式或者通过任意的方法对外光进行受光、在另外求出了与1帧量的外光相当的电荷量的基础上计算距离。
如图5A的例子所示那样，在照射时间To照射光脉冲PO，延迟了延迟时间Tb之后耀斑光被距离图像传感器32受光，延迟了延迟时间Td之后反射光RL被距离图像传感器32受光。
中距离模式在假定为与远距离模式相比较、作为被摄体的物体B以及成为产生耀斑光的重要因素的物体A与距离图像摄像装置1之间的距离较近的状况下而被使用。即，在以延迟时间Tb与延迟时间Td之差与在远距离模式中假定的差相比较为较小的值、且存在耀斑光与反射光RL被同时受光的期间的情况为前提的状况下，使用中距离模式。在中距离模式下，在以上述情况为前提的基础上，调整照射光脉冲PO的定时以及在电荷蓄积部CS蓄积电荷的定时，使得能够提取由耀斑光引起的电荷量。
在垂直扫描电路323中，与耀斑光相当的电荷被向电荷蓄积部CS1以及CS2分配(跨越)而蓄积。此外，在垂直扫描电路323中，与反射光RL相当的电荷被向电荷蓄积部CS2以及CS3分配而蓄积。即，垂直扫描电路323使与在“耀斑光受光期间”向受光部3入射的光量相当电荷，向电荷蓄积部CS1以及CS2分配而蓄积。此外，垂直扫描电路323使与在“反射光受光期间”向受光部3入射的光量相当的电荷向电荷蓄积部CS2以及CS3分配而蓄积。
在中距离模式下，“耀斑光受光期间”与“反射光受光期间”的至少一部分相互重复。
“耀斑光受光期间”是从自开始照射光脉冲PO的时间延迟了延迟时间Tb后的时间开始起、到经过光脉冲照射时间To(照射期间)为止的期间。即，“耀斑光受光期间”是从光脉冲PO的照射时间To延迟了延迟时间Tb的期间。在此，延迟时间Tb是“脉冲光延迟时间”的一个例子。
“反射光受光期间”是从自开始照射光脉冲PO的时间延迟了延迟时间Td后的时间开始起、到光脉冲照射时间To(照射期间)为止的期间。即，“反射光受光期间”是从光脉冲PO的照射时间To延迟了延迟时间Td的期间。在此，延迟时间Td是“反射光延迟时间”的一个例子。
具体地说，垂直扫描电路323首先使读出栅极晶体管G1成为导通状态，向电荷蓄积部CS1进行电荷的蓄积。
光源部2在从读出栅极晶体管G1变化为导通状态的时刻起经过了期间TY的时刻，使光脉冲PO的照射开始。在从开始光脉冲PO的照射的时刻(照射开始时)起经过了延迟时间Tb的时刻，耀斑光到达距离图像摄像装置1，耀斑光开始被受光。
垂直扫描电路323从开始照射光脉冲PO的时刻起到经过期间TZ为止，使读出栅极晶体管G1成为导通状态，向电荷蓄积部CS1进行电荷的蓄积。在此，将期间TY与期间TZ合计的值是与蓄积期间Ta相当的期间。垂直扫描电路323进行以使期间TZ成为延迟时间Tb以上(TZ≧Tb)的方式进行调整。由此，在电荷蓄积部CS1的蓄积期间Ta中能够包含开始受光耀斑光的“耀斑光受光开始时”，能够使电荷蓄积部CS1蓄积与耀斑光相当的电荷。
接下来，垂直扫描电路323在使电荷向电荷蓄积部CS1的蓄积结束的定时，使读出栅极晶体管G2、G3依次在蓄积期间Ta的期间成为导通状态，使电荷蓄积到电荷蓄积部CS2、CS3。由此，向电荷蓄积部CS1、CS2分配而蓄积与耀斑光以及外光相当的电荷。此外，向电荷蓄积部CS2、CS3分配而蓄积与反射光RL以及外光相当的电荷。
距离运算部42基于电荷蓄积部CS1所蓄积的与耀斑光相当的电荷量，提取电荷蓄积部CS2所蓄积的电荷量中的由耀斑光引起的耀斑光成分。距离运算部42通过以下的(2)式，计算电荷蓄积部CS2所蓄积的电荷量的耀斑光成分Q2f。
Q2f＝K×Q1 ……(2)
在此，Q2f表示电荷蓄积部CS2所蓄积的电荷量中的与耀斑光成分相当的电荷量，Q1表示电荷蓄积部CS1所蓄积的电荷量，K表示常数。常数K是根据电荷蓄积部CS1的蓄积期间Ta结束的定时与耀斑光受光开始的定时之间的时期关系而唯一地决定的常数。
在此，使用图5B对决定常数K的方法进行说明。在图5B中表示蓄积期间Ta以及照射时间To均由13个时钟(13ck)构成的情况下的例子。此外，在图5B中表示在中距离模式下在从读出栅极晶体管G1成为导通状态的时刻起的10个时钟(10ck)后开始照射光脉冲PO的例子。
如图5B所示那样，在从开始照射光脉冲PO的时刻起的1个时钟(Tb；1ck)后开始了耀斑光的受光的情况下，在电荷蓄积部CS1中蓄积与13个时钟量的耀斑光中的2个时钟量的受光量相当的电荷。此外，在电荷蓄积部CS2中蓄积与13个时钟量的耀斑光中的11个时钟量的受光量相当的电荷。在该情况下，以下的(3)式成立。
Q2f＝11/2×Q1f ……(3)
在此，Q2f是电荷蓄积部CS2所蓄积的电荷量中包含的耀斑光成分的电荷量。Q1f是电荷蓄积部CS1所蓄积的电荷量中包含的耀斑光成分的电荷量。如果是外光对所希望的距离的运算结果不产生影响那样的环境(例如，外光的光量较小的环境)，则电荷量Q1f能够视为是电荷蓄积部CS1所蓄积的电荷量、即(2)式的电荷量Q1。此外，(3)式的“11/2”相当于(2)式的常数K。
如此，常数K根据电荷蓄积部CS1的蓄积期间Ta结束的定时与耀斑光受光开始的定时之间的时间关系来决定。耀斑光受光开始的定时，根据到存在于近距离处的成为产生耀斑光的重要因素的物体A(近距离物体)为止的距离来决定。即，常数K是根据到近距离物体为止的距离来决定的常数。
距离图像摄像装置1例如利用通常模式2来测定到近距离物体为止的距离。在该情况下，距离图像摄像装置1在基于中距离模式进行测定之前或者之后，利用通常模式2来测定到近距离物体为止的距离。此外，在该情况下，距离图像摄像装置1预先存储将到近距离物体为止的距离与常数K建立对应的表。
然后，距离运算部42基于利用通常模式2而测定的到近距离物体为止的距离，参照表，取得与所测定的到近距离物体为止的距离对应的常数K。距离运算部42将所取得的常数K、以及在中距离模式下取得的电荷蓄积部CS1、CS2的电荷量应用于(2)式。由此，距离运算部42能够提取电荷蓄积部CS2所蓄积的电荷量所包含的耀斑光成分。
距离运算部42通过从电荷蓄积部CS2所蓄积的电荷量减去所提取到的耀斑光成分，由此计算出与电荷蓄积部CS2所蓄积的与反射光RL相当的电荷量。距离运算部42能够通过将计算出的电荷量应用于(1)式的电荷量Q2来计算延迟时间Td，并使用所计算出的延迟时间Td来运算到物体B为止的距离。此时，与外光相当的电荷量(与(1)式的电荷量Q1相当的电荷量)为0(零)。如此求出的到物体B为止的距离被除去了耀斑光成分的影响，因此能够抑制由耀斑光引起的距离的精度劣化。如上述那样，在外光的光量较大的环境中需要将与外光相当的电荷量除去而进行距离的运算，因此需要通过后述的中距离外光模式或者任意的方法来对外光进行受光，并另外求出与1帧量的外光相当的电荷量。
(中距离外光模式)
接下来，使用图6对中距离外光模式进行说明。图6是表示第1实施方式的中距离模式下的驱动像素321的定时的时序图。关于图6中的“Light”等项目，由于与图12C相同，因此省略其说明。此外，图6中的光脉冲PO的照射、耀斑光以及反射光RL的受光各自的定时关系，由于与图5A相同，因此省略其说明。
在中距离外光模式下，与中距离模式的不同点在于，使电荷蓄积部CS1成为导通状态的定时提前蓄积期间Ta。另一方面，在中距离外光模式下，将照射光脉冲PO的定时以及使电荷蓄积部CS2、CS3成为导通状态的定时设为与中距离模式相同的定时。
通过使电荷蓄积部CS1成为导通状态的定时提前蓄积期间Ta，由此在中距离外光模式下使电荷蓄积部CS1蓄积与外光相当的电荷量。此外，将照射光脉冲PO的定时以及使电荷蓄积部CS2、CS3成为导通状态的定时设为与中距离模式相同的定时。由此，按照与中距离模式同样的分配比率使电荷蓄积部CS2蓄积与耀斑光以及反射光RL相当的电荷，并且使电荷蓄积部CS3蓄积与反射光RL相当的电荷。
(基于中距离模式的距离计算方法)
在此，使用图7来说明使用中距离模式以及中距离外光模式的测定结果计算到存在于中距离处的作为被摄体的物体B为止的距离的方法。图7是说明第1实施方式的距离图像摄像装置1使用中距离模式以及中距离外光模式的测定结果来计算距离的处理的图。
如图7所示那样，距离图像摄像装置1交替地反复进行中距离模式下的1帧量的测定(处理F1)以及中距离外光模式下的1帧量的测定(处理F2)。
距离图像摄像装置1使处理F1的处理结果中的至少电荷量Q1gf存储于帧存储器，并暂时保持中距离模式的测定结果(处理F4)。在处理F1的处理结果中包括与1帧量的对应于分配比率的耀斑光以及外光相当的电荷量Q1gf、与1帧量的对应于分配比率的耀斑光和反射光RL以及外光相当的电荷量Q2grf、以及与1帧量的对应于分配比率的反射光RL以及外光相当的电荷量Q3gr。
距离图像摄像装置1使处理F2的处理结果中的至少电荷量Q1g存储于帧存储器，并暂时保持中距离外光模式的测定结果(处理F3)。在处理F2的处理结果中包括与1帧量的外光相当的电荷量Q1g、与1帧量的对应于分配比率的耀斑光和反射光RL以及外光相当的电荷量Q2grf、以及与1帧量的对应于分配比率的反射光RL以及外光相当的电荷量Q3gr。
距离图像摄像装置1使用处理F3的处理结果以及处理F1的处理结果，将中距离模式和中距离外光模式的两个测定结果进行合成(处理F5)。
在帧存储器仅存储有处理F3的处理结果中的中距离外光模式的电荷量Q1g的情况下，使用该电荷量Q1g、作为处理F1的处理结果的中距离模式的电荷量Q1gf、电荷量Q2grf以及电荷量Q3gr来进行合成。
在帧存储器存储有中距离外光模式的电荷量Q1g、电荷量Q2grf以及电荷量Q3gr的情况下，使用该电荷量Q1g、Q2grf、Q3gr以及中距离模式的电荷量Q1gf来进行合成。
或者，在帧存储器存储有中距离外光模式的电荷量Q1g、电荷量Q2grf、以及电荷量Q3gr的情况下，也可以使用中距离模式的电荷量Q1gf、电荷Q2grf以及电荷量Q3gr来进行合成。在该情况下，在处理F5的合成结果中包括中距离外光模式下的与1帧量的外光相当的电荷量Q1g、中距离模式下的与1帧量的对应于分配比率的耀斑光以及外光相当的电荷量Q1gf、将中距离模式和中距离外光模式下的与2帧量的对应于分配比率的耀斑光和反射光RL以及外光相当的电荷量进行合成(例如平均)而得到的值、以及将中距离模式和中距离外光模式的与2帧量的对应于分配比率的反射光RL以及外光相当的电荷量进行合成(例如平均)而得到的值。
距离图像摄像装置1使用处理F4的处理结果以及处理F2的处理结果，将中距离模式与中距离外光模式这两者的测定结果进行合成(处理F6)。在处理F6的合成结果中包括与处理F5的合成结果同样的结果。
距离图像摄像装置1将通过处理F5(或者处理F6)计算出的合成结果应用于以下的(4)式，由此计算出光脉冲PO由物体B反射而向距离图像摄像装置1入射的延迟时间Td。
Td＝To×Q3r/(Q2r+Q3r) ……(4)
在此，To表示照射光脉冲PO的期间，Q3r表示电荷蓄积部CS3所蓄积的电荷量Q3中的反射光成分，Q2r表示电荷蓄积部CS2所蓄积的电荷量Q2中的反射光成分。
当将电荷蓄积部CS3所蓄积的电荷量Q3中的外光成分的电荷量设为Q3g时，电荷量Q3r由以下的(5)式表示。
Q3r＝Q3-Q3g ……(5)
当将电荷蓄积部CS2所蓄积的电荷量Q2中的外光成分的电荷量设为Q2g、将耀斑光成分设为Q2f时，电荷量Q2r由以下的(6)式表示。
Q2r＝Q2-Q2g-Q2f ……(6)
电荷量Q2g以及电荷量Q3g与在中距离外光模式下电荷蓄积部CS1所蓄积的电荷量为同量。此外，电荷量Q2f为在中距离模式下提取的、由电荷蓄积部CS1蓄积的电荷量中的耀斑光成分的常数K倍。
(中距离外光模式的变形例)
在此，对中距离外光模式的变形例进行说明。在本变形例中，在图12A所示那样的以往的测定定时，不照射光脉冲PO地进行测定。由此，能够使电荷蓄积部CS1～CS3分别蓄积与外光的光量相当的1帧量的电荷。当在室内等与屋外相比较而外光的光量变化较少的环境下进行测定的情况下，优选进行本变形例的测定。此外，优选定期地反复进行本变形例的测定，而对外光的光量进行更新。
(常数K的计算方法的变形例)
在此，使用图8A以及图8B(以下称为图8A等)对常数K的计算方法的变形例进行说明。在本变形例中，使用预先测定的结果来计算常数K。图8A等是对常数K的计算方法的变形例进行说明的图。在图8A等中利用直方图来表示每个像素的测定结果(距离)。图8A等的横轴表示距离(Distance[m])，纵轴表示像素的数量(Count)。在图8A等中，将物体B设为墙壁，测定到墙壁为止的距离。
在图8A等中表示近距离物体A(记载为Object)存在于测定区域的情况(Wall+Object)以及不存在的情况(Wall)这两种情况下测定了到物体B(记载为Wall)为止的距离而得的结果。图8A表示将耀斑光除去之前(无修正)的测定结果，图8B表示将耀斑光除去之后(耀斑修正)的测定结果。
如图8A所示那样，在仅物体B(Wall)的测定中，在距离1.2m附近出现直方图的峰值。即，到物体B为止的距离为1.2m附近。
另一方面，在物体B以及近距离物体A(Wall+Object)的测定中，出现表示到近距离物体A为止的距离(0.3m～0.4m)的峰值以及距离1.0m附近的峰值。距离1.0m附近的峰值表示由于在物体B的反射光中混有由于近距离物体A而产生的耀斑光、因此到物体B为止的距离被计测得比实际距离短、。
在图8B中表示探索使图8A的1.0m附近的峰值偏移到1.2m附近那样的常数K，并在使用探索出的常数K将耀斑光成分除去之后计算距离而得的结果。如此，通过使用统计的方法来计算常数K，能够更高精度地运算距离。
在此，使用图9A～图9F对本变形例的效果进行说明。图9A～图9F是说明中距离模式的测定效果的图。
图9A、图9B表示使用仅对物体B进行摄影而得的距离图像以及对物体B和近距离物体A进行摄影而得的距离图像，将每个像素的距离的差分设为像素值的图像(差分图像)。图9A是将耀斑光成分除去之前(无修正)的差分图像，图9B是将耀斑光成分除去之后(耀斑修正)的差分图像。图9A、图9B的横轴表示水平方向的像素(Pixel(H))，纵轴表示垂直方向的像素(Pixel(V))，在差分图像的右侧用灰度表示差值的指标，随着灰色变得明亮而表示差分变大。
符号D1、D2在后述的图中说明。
如图9A所示那样，在不进行修正的情况下，物体B(壁)整体成为较明亮的灰色，表示距离存在差分。特别是，在近距离物体A周边(近距离物体A的左右方向以及下侧)的区域中，成为更明亮的灰色，该区域中的距离的差分被计算出较大。另一方面，如图9B所示那样，在进行了耀斑修正的情况下，物体B(墙壁)整体成为较暗的灰色，距离的差分在整体上接近零。
图9C、图9D表示图9A、图9B的垂直方向截面(符号D1)的像素与距离之间的关系。图9C表示使用了将耀斑光成分除去之前(无修正)的距离图像而得的结果，图9D表示使用了将耀斑光成分除去之后(耀斑修正)的距离图像而得的结果。图9C、图9D的横轴表示像素(Pixel)，纵轴表示距离(Distance[m])。
如图9C所示那样，在未进行修正的情况下，在没有近距离物体A的情况(虚线)与存在近距离物体A的情况(实线)下产生30cm～40cm的差分。另一方面，如图9D所示那样，在进行了耀斑修正的情况下，没有近距离物体A的情况(虚线)与存在近距离物体A的情况(实线)在不存在近距离物体A的区域中几乎重合，差分降低。
图9E、图9F表示图9A、图9B的垂直方向截面(符号D2)的像素与距离之间的关系。图9E表示使用了将耀斑光成分除去之前(无修正)的距离图像而得的结果，图9F表示使用了将耀斑光成分除去之后(耀斑修正)的距离图像而得的结果。图9E、图9F的横轴表示像素(Pixel)，纵轴表示距离(Distance[m])。
如图9E所示那样，在未进行修正的情况下，在没有近距离物体A的情况(虚线)和存在近距离物体A的情况(实线)下产生30cm～40cm的差分，特别是随着接近近距离物体A的位置(60Pixel附近)而差分变大。另一方面，如图9F所示那样，在进行了耀斑修正的情况下，没有近距离物体A的情况(虚线)与存在近距离物体A的情况(实线)几乎重合，即使在接近近距离物体A的区域中差分也不会变大。
在此，使用图10对第1实施方式的距离图像摄像装置1的处理流程进行说明。
步骤S100：
距离图像摄像装置1首先在通常模式1下进行测定。距离图像摄像装置1存储测定结果(到被摄体即物体B为止的距离DB以及电荷蓄积部CS所蓄积的电荷量等)。
步骤S101：
距离图像摄像装置1根据通常模式1的测定结果判定在电荷蓄积部CS2所蓄积的电荷量Q2中是否存在耀斑光成分。距离图像摄像装置1在电荷量Q2(例如，全部像素的电荷量Q2的平均值)为预先设定的规定的阈值以上的情况下，判定为在电荷量Q2中存在耀斑光成分。距离图像摄像装置1在判定为在电荷量Q2中存在耀斑光成分的情况下，进行步骤S102的处理。另一方面，距离图像摄像装置1在判定为在电荷量Q2中没有耀斑光成分的情况下，返回步骤S100，继续进行通常模式1的测定。
步骤S102：
距离图像摄像装置1在通常模式2下进行测定。在通常模式2下，与通常模式1相比较，减少分配次数且抑制曝光量，因此远距离的被摄体的距离未被测定(无法测定)，仅测定到近距离物体A为止的距离。距离图像摄像装置1存储测定结果(到近距离物体A为止的距离DA等)。
步骤S103：
距离图像摄像装置1判定用于将耀斑光成分除去的再次测定是在远距离模式下进行还是在中距离模式下进行。距离图像摄像装置1在距离DA与距离DB之间的距离差分(绝对值)为规定的阈值以上的情况下，将再次测定设为远距离模式。另一方面，距离图像摄像装置1在距离DA与距离DB之间的距离差分(绝对值)低于规定的阈值的情况下，将再次测定设为中距离模式。距离图像摄像装置1在将再次测定设为远距离模式的情况下，进行步骤S104所示的处理。距离图像摄像装置1在将再次测定设为中距离模式的情况下，进行步骤S106所示的处理。
步骤S104：
距离图像摄像装置1在远距离模式下进行测定。远距离模式下的测定例如以与通常模式1的分配次数相同的分配次数进行。
步骤S105：
距离图像摄像装置1在以规定的帧数(例如，30帧量)反复进行了远距离模式之后，判定近距离物体A是否持续存在。这是如下处理：在近距离物体A为移动体的情况等近距离物体A与被摄体之间的关系发生变化的情况下，从远距离模式返回通常模式1。距离图像摄像装置1根据通常模式1的测定结果，判定在电荷蓄积部CS2所蓄积的电荷量Q2中是否存在耀斑光成分。是否存在耀斑光成分的判定也可以是与步骤S101所示的处理同样的方法。距离图像摄像装置1在判定为电荷量Q2中存在耀斑光成分的情况下，返回步骤S104的处理，继续进行远距离模式下的测定。另一方面，距离图像摄像装置1在判定为电荷量Q2中不存在耀斑光成分的情况下，返回步骤S100，返回通常模式1下的测定。
步骤S106：
距离图像摄像装置1在中距离模式下进行测定。中距离模式下的测定例如以与通常模式1的分配次数相同的分配次数进行。距离图像摄像装置1存储电荷蓄积部CS1～CS3所蓄积的电荷量，并进行步骤S107所示的处理。
步骤S107：
距离图像摄像装置1根据中距离模式的测定结果判定在电荷蓄积部CS2所蓄积的电荷量Q2中是否存在耀斑光成分。这是应对即使在步骤S101中判定为存在耀斑光成分的情况下、但当近距离物体A为移动体且暂时横穿了测定区域等时以中距离模式进行了再次测定时耀斑光成分消失这一情况的处理。对电荷量Q2中是否存在耀斑光成分进行判定的方法与步骤S101相同。距离图像摄像装置1在判定为电荷量Q2中存在耀斑光成分的情况下，进行步骤S107的处理。另一方面，距离图像摄像装置1在电荷量Q2中不存在耀斑光成分的情况下，进行步骤S108的处理。
步骤S108：
距离图像摄像装置1使用中距离模式的测定结果(电荷蓄积部CS1～CS3所蓄积的电荷量)，将电荷量Q2所包含的耀斑光成分除去，并计算到物体B为止的距离。虽然在本流程图中省略记载，但距离图像摄像装置1对中距离模式的测定结果使用在中距离外光模式下测定的外光成分，而计算到物体B为止的距离。距离图像摄像装置1返回步骤S106的处理，继续中距离模式下的测定。
步骤S109：
距离图像摄像装置1使用中距离模式的测定结果(电荷蓄积部CS1～CS3所蓄积的电荷量)，不将耀斑光的电荷量Q2的耀斑光成分除去地计算到物体B为止的距离。该情况下的距离的计算方法与以往的计算方法相同。距离图像摄像装置1返回步骤S100，返回到通常模式1的测定。
在上述流程图中，各个测定模式下的1次测定可以是1帧量的测定结果，也可以将多帧量的测定结果进行平均(例如移动平均)。
如以上说明的那样，第1实施方式的距离图像摄像装置1具备光源部2、受光部3以及距离图像处理部4。光源部2向测定空间E照射光脉冲PO。受光部3具有：像素，具备产生与所入射的光相应的电荷的光电转换元件PD以及蓄积上述电荷的多个电荷蓄积部CS；以及垂直扫描电路323(像素驱动电路)，在与光脉冲PO的照射同步的规定的蓄积定时，向电荷蓄积部CS分别分配而蓄积电荷。距离图像处理部4基于电荷蓄积部CS分别蓄积的电荷量，测定到存在于测定空间E的被摄体S为止的距离。距离图像处理部4具有定时控制部41。定时控制部41对应于根据作为测定对象的距离的范围而预先设定的测定模式，对蓄积定时进行控制。由此，在第1实施方式的距离图像摄像装置1中，能够根据作为测定对象的距离的范围来选择测定模式。因此，在测定存在于远距离处的物体时存在耀斑光的影响的情况下，能够使蓄积定时变更而降低耀斑光的影响。因此，不改变装置内的光学构成且不使用数据库就能够抑制耀斑现象的影响。
此外，在第1实施方式的距离图像摄像装置1中，定时控制部41在测定模式为远距离模式的情况下，以不对耀斑光进行受光而不蓄积与耀斑光的光量相当的电荷的方式调整蓄积定时。由此，能够进行耀斑光成分的排除，起到与上述效果同样的效果。
此外，在第1实施方式的距离图像摄像装置1中，定时控制部41在测定模式为中距离模式的情况下，以将与耀斑光相当的电荷分配蓄积于电荷蓄积部CS1和CS2的方式调整蓄积定时。由此，能够进行耀斑光成分的除去，起到与上述效果同样的效果。
此外，在第1实施方式的距离图像摄像装置1中，定时控制部41在测定模式为中距离模式的情况下，使用与另外测定的外光相当的电荷量来进行外光成分的除去。由此，能够进行耀斑光成分的除去以及外光成分的除去，起到与上述效果同样的效果。
此外，在第1实施方式的距离图像摄像装置1中，定时控制部41在测定模式为中距离模式的情况下，以在中距离外光模式下将与外光相当的电荷蓄积到电荷蓄积部CS的方式调整蓄积定时。由此，通过进行所谓的帧合成，能够容易地进行耀斑光成分的除去以及外光成分的除去，起到与上述效果同样的效果。
此外，在第1实施方式的距离图像摄像装置1中，距离运算部42在测定模式为中距离模式的情况下，将电荷蓄积部CS1所蓄积的电荷量乘以常数K而得到的值，作为电荷蓄积部CS2所蓄积的电荷量中包含的耀斑光成分。由此，能够进行耀斑光成分的除去，起到与上述效果同样的效果。
此外，在第1实施方式的距离图像摄像装置1中，例如图10的流程所示那样，根据判定有无耀斑光的结果，一边使测定模式动态变化一边进行测定。由此，即使在近距离物体暂时横穿测定空间E的情况下，也能够切换测定模式而进行再次测定，起到与上述效果同样的效果。
(第2实施方式)
接下来，对第2实施方式进行说明。在本实施方式中，与上述实施方式的不同点在于，像素具备4个电荷蓄积部CS1～CS4。
图11是表示第2实施方式中的驱动像素321的定时的时序图。关于图11中的“Light”等项目，由于与图12C相同，因此省略其说明。此外，图11中的光脉冲PO的照射、耀斑光以及反射光RL的受光各自的定时关系，由于与图5A相同，因此省略其说明。
如图11所示那样，在本实施方式中，通过使电荷蓄积部CS1～CS4依次成为导通状态，由此同时进行与中距离模式和中距离外光模式对应的动作。由此，在电荷蓄积部CS1中蓄积与外光的光量相当的1帧量的电荷量。在电荷蓄积部CS2、CS3中根据分配比率分别蓄积与耀斑光的光量相当的1帧量的电荷量。在电荷蓄积部CS3、CS4中根据分配比率分别蓄积与反射光RL的光量相当的1帧量的电荷量。
距离运算部42基于电荷蓄积部CS2所蓄积的电荷量以及到近距离物体A为止的距离来决定常数K。距离运算部42使用常数K提取电荷蓄积部CS3所蓄积的电荷量中的耀斑光成分。距离运算部42通过将所提取到的耀斑光成分从电荷蓄积部CS3中除去，来计算与电荷蓄积部CS3所蓄积的反射光RL相当的电荷量。距离运算部42使用电荷蓄积部CS3所蓄积的与反射光RL相当的电荷量以及电荷蓄积部CS1、CS4所蓄积的电荷量，运算到物体为止的距离。
如以上说明的那样，在第2实施方式的距离图像摄像装置1中，像素321具备4个电荷蓄积部CS。由此，能够同时进行中距离模式以及中距离外光模式下的测定，不进行所谓的帧合成等复杂的处理就能够高精度地计算距离。
也可以通过计算机来实现上述实施方式的距离图像摄像装置1的全部或者一部分。在该情况下，也可以将用于实现该功能的程序记录于计算机可读取的记录介质，使该记录介质所记录的程序读入至计算机系统并执行该程序来实现。此处所称的“计算机系统”是指包括OS、周边设备等硬件的系统。此外，“计算机可读取的记录介质”是指软盘、光磁盘、ROM、CD-ROM等移动介质、配置在计算机系统的硬盘等存储装置。并且，“计算机可读取的记录介质”，也可以是经由互联网等网络、电话线路等通信线路发送程序的情况下的通信线那样在短时间的期间动态地保持程序的介质，如成为该情况下的服务器、客户端的计算机系统内部的易失性存储器那样在一定时间内保持程序的介质。此外，上述程序可以用于实现上述功能的一部分，并且也能够与计算机系统中已经记录的程序的组合来实现上述功能，也可以使用FPGA等可编程逻辑器件来实现上述功能。
以上，参照附图对本发明的实施方式进行了详细说明，但具体的构成不限定于该实施方式，还包括不脱离本发明的主旨范围的设计等。
工业上的可利用性
根据本发明，不改变装置内的光学构成且不使用数据库就能够抑制耀斑现象的影响。
符号的说明
1…距离图像摄像装置
2…光源部
3…受光部
32…距离图像传感器
321…像素
323…垂直扫描电路
4…距离图像处理部
41…定时控制部
42…距离运算部
43…测定控制部
CS…电荷蓄积部
PO…光脉冲

Claims (10)

1.一种距离图像摄像装置，具备：
光源部，向测定对象的空间即测定空间照射光脉冲；
受光部，具有像素以及像素驱动电路，该像素具备产生与所入射的光相应的电荷的光电转换元件以及蓄积上述电荷的多个电荷蓄积部，该像素驱动电路在与上述光脉冲的照射同步的规定的蓄积定时，将上述电荷分配蓄积于上述像素中的各个电荷蓄积部；以及
距离图像处理部，基于上述电荷蓄积部分别蓄积的电荷量，测定到存在于上述测定空间的被摄体为止的距离，
上述距离图像处理部具有根据测定模式对上述蓄积定时进行控制的定时控制部，该测定模式是根据作为测定对象的距离的范围而预先设定的。
2.如权利要求1所述的距离图像摄像装置，其中，
上述像素的多个上述电荷蓄积部包括第1电荷蓄积部、第2电荷蓄积部以及第3电荷蓄积部，
上述定时控制部为，在上述测定模式为远距离模式的情况下，在不照射上述光脉冲的截止状态的外光蓄积期间，使上述第1电荷蓄积部蓄积上述电荷，并至少将耀斑光受光期间设为在上述电荷蓄积部的任一个中都不蓄积上述电荷的非蓄积期间，在上述非蓄积期间经过后，将与在反射光受光期间向上述受光部入射的光量相当的电荷，分配蓄积于上述第2电荷蓄积部以及第3电荷蓄积部，
上述耀斑光受光期间是从照射上述光脉冲的期间即照射期间延迟了规定的脉冲光延迟时间的期间，
上述反射光受光期间是从上述照射期间延迟了比上述脉冲光延迟时间长的反射光延迟时间的期间，
上述耀斑光受光期间与上述反射光受光期间是相互不重复的期间。
3.如权利要求1所述的距离图像摄像装置，其中，
上述像素的多个上述电荷蓄积部包括第1电荷蓄积部、第2电荷蓄积部以及第3电荷蓄积部，
上述定时控制部为，在上述测定模式为中距离模式的情况下，将与在耀斑光受光期间向上述受光部入射的光量相当的电荷，分配蓄积于上述第1电荷蓄积部以及第2电荷蓄积部，将与在反射光受光期间向上述受光部入射的光量相当的电荷，分配蓄积于上述第2电荷蓄积部以及第3电荷蓄积部，
上述耀斑光受光期间是从照射上述光脉冲的期间即照射期间延迟了规定的脉冲光延迟时间的期间，
上述反射光受光期间是从上述照射期间延迟了比上述脉冲光延迟时间长的反射光延迟时间的期间，
上述耀斑光受光期间与上述反射光受光期间是至少一部分相互重复的期间，
上述距离图像处理部基于在上述中距离模式下上述电荷蓄积部分别蓄积的电荷量，从上述电荷量中提取由耀斑光引起的耀斑光成分，并基于将所提取到的耀斑光成分从上述电荷量中除去后的值，测定到上述被摄体为止的距离。
4.如权利要求3所述的距离图像摄像装置，其中，
上述定时控制部为，作为上述测定模式而在上述中距离模式以及中距离外光模式下进行测定，在上述测定模式为中距离外光模式的情况下，在不照射上述光脉冲的截止状态的外光蓄积期间，使上述第1电荷蓄积部蓄积上述电荷，
上述距离图像处理部为，
基于在上述中距离模式下上述电荷蓄积部分别蓄积的电荷量，提取由耀斑光引起的耀斑光成分，
基于在上述中距离外光模式下上述电荷蓄积部分别蓄积的电荷量，提取由外光引起的外光成分，
使用所提取到的上述耀斑光成分以及上述外光成分，测定到上述被摄体为止的距离。
5.如权利要求4所述的距离图像摄像装置，其中，
上述定时控制部为，在上述测定模式为上述中距离外光模式的情况下，在上述光脉冲为上述截止状态的外光蓄积期间，使上述第1电荷蓄积部蓄积上述电荷，并将耀斑光受光期间设为在上述电荷蓄积部的任一个中都不蓄积上述电荷的非蓄积期间，将与在反射光受光期间向上述受光部入射的光量相当的电荷，分配蓄积于上述第2电荷蓄积部以及第3电荷蓄积部，
上述距离图像处理部通过将在上述中距离模式下上述电荷蓄积部分别蓄积的电荷量与在上述中距离外光模式下上述电荷蓄积部分别蓄积的电荷量进行合成，来测定到存在于上述测定空间的被摄体为止的距离。
6.如权利要求3至5中任一项所述的距离图像摄像装置，其中，
上述距离图像处理部为，在上述中距离模式下，提取使上述第1电荷蓄积部所蓄积的电荷量为常数倍后的值，作为上述第2电荷蓄积部所蓄积的电荷量中包含的、由耀斑光引起的耀斑光成分。
7.如权利要求1所述的距离图像摄像装置，其中，
上述像素的多个上述电荷蓄积部包括第1电荷蓄积部、第2电荷蓄积部、第3电荷蓄积部以及第4电荷蓄积部，
上述定时控制部为，
在不照射上述光脉冲的截止状态的外光蓄积期间，使上述第1电荷蓄积部蓄积上述电荷，
将与在耀斑光受光期间向上述受光部入射的光量相当的电荷，分配蓄积于上述第2电荷蓄积部以及第3电荷蓄积部，将与在反射光受光期间向上述受光部入射的光量相当的电荷，分配蓄积于上述第3电荷蓄积部以及第4电荷蓄积部，
上述耀斑光受光期间是从照射上述光脉冲的期间即照射期间延迟了规定的脉冲光延迟时间的期间，
上述反射光受光期间是从上述照射期间延迟了比上述脉冲光延迟时间长的反射光延迟时间的期间。
8.如权利要求1所述的距离图像摄像装置，其中，
还具备对测定进行控制的测定控制部，
上述测定控制部为，
使上述测定模式为第1通常模式而测定到上述被摄体为止的距离，
在上述第1通常模式下，基于电荷蓄积部分别蓄积的电荷量，判定在上述测定空间中是否存在与上述被摄体相比存在于近距离处的近距离物体，
在上述测定空间中存在上述近距离物体的情况下，变更上述测定模式而再次进行测定，
上述像素的多个上述电荷蓄积部包括第1电荷蓄积部、第2电荷蓄积部以及第3电荷蓄积部，
上述定时控制部为，
在上述测定模式为上述第1通常模式的情况下，在不照射上述光脉冲的截止状态的外光蓄积期间，使上述第1电荷蓄积部蓄积上述电荷，在成为照射上述光脉冲的导通状态之后的规定的反射光受光期间，按照规定的累计次数反复执行使上述第2电荷蓄积部以及第3电荷蓄积部依次蓄积上述电荷的蓄积周期。
9.如权利要求8所述的距离图像摄像装置，其中，
上述测定控制部为，在上述第1通常模式下，在上述第2电荷蓄积部所蓄积的电荷量为规定的阈值以上的情况下，判断为在上述测定空间中存在上述近距离物体。
10.一种距离图像摄像方法，通过距离图像摄像装置来执行，该距离图像摄像装置具备：
光源部，向测定对象的空间即测定空间照射光脉冲；
受光部，具有像素以及像素驱动电路，该像素具备产生与所入射的光相应的电荷的光电转换元件以及蓄积上述电荷的多个电荷蓄积部，该像素驱动电路在与上述光脉冲的照射同步的规定的蓄积定时，将上述电荷分配蓄积于上述像素中的各个电荷蓄积部；
距离图像处理部，基于上述电荷蓄积部分别蓄积的电荷量，测定到存在于上述测定空间的被摄体为止的距离；以及
定时控制部，对上述蓄积定时进行控制，
该距离图像摄像方法具有由上述定时控制部根据测定模式对上述蓄积定时进行控制的工序，该测定模式是根据作为测定对象的距离的范围而预先设定的。
CN202080054290.1A 2019-08-01 2020-07-30 距离图像摄像装置以及距离图像摄像方法 Active CN114175618B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019142536A JP7463671B2 (ja) 2019-08-01 2019-08-01 距離画像撮像装置、及び距離画像撮像方法
JP2019-142536 2019-08-01
PCT/JP2020/029199 WO2021020496A1 (ja) 2019-08-01 2020-07-30 距離画像撮像装置、及び距離画像撮像方法

Publications (2)

Publication Number Publication Date
CN114175618A true CN114175618A (zh) 2022-03-11
CN114175618B CN114175618B (zh) 2024-06-14

Family

ID=74230355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080054290.1A Active CN114175618B (zh) 2019-08-01 2020-07-30 距离图像摄像装置以及距离图像摄像方法

Country Status (6)

Country Link
US (1) US11982750B2 (zh)
EP (1) EP4009073A4 (zh)
JP (1) JP7463671B2 (zh)
CN (1) CN114175618B (zh)
TW (1) TWI780462B (zh)
WO (1) WO2021020496A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4303533A4 (en) * 2021-03-05 2024-08-14 Toppan Inc DISTANCE IMAGE CAPTURE DEVICE AND DISTANCE IMAGE CAPTURE METHOD
WO2022254795A1 (ja) * 2021-05-31 2022-12-08 日立Astemo株式会社 画像処理装置、および、画像処理方法
JP2022189184A (ja) * 2021-06-10 2022-12-22 ソニーセミコンダクタソリューションズ株式会社 測距センサ、測距装置及び測距方法
CN118451343A (zh) 2021-12-24 2024-08-06 株式会社小糸制作所 测定装置
JPWO2023139916A1 (zh) 2022-01-21 2023-07-27
WO2023149060A1 (ja) 2022-02-01 2023-08-10 株式会社小糸製作所 測定装置
WO2023171345A1 (ja) 2022-03-11 2023-09-14 株式会社小糸製作所 光電変換回路、及び光電変換装置
JP2023172742A (ja) * 2022-05-24 2023-12-06 Ｔｏｐｐａｎホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法
WO2024014547A1 (ja) * 2022-07-15 2024-01-18 Ｔｏｐｐａｎホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1152261A1 (en) * 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
JP2010096730A (ja) * 2008-10-20 2010-04-30 Honda Motor Co Ltd 測距システム及び測距方法
WO2016075885A1 (ja) * 2014-11-11 2016-05-19 パナソニックＩｐマネジメント株式会社 距離検出装置及び距離検出方法
CN106067954A (zh) * 2015-04-20 2016-11-02 三星电子株式会社 成像单元和系统
JP2016189557A (ja) * 2015-03-30 2016-11-04 ソニー株式会社 撮像素子およびその駆動方法、並びに電子機器
CN106256313A (zh) * 2015-06-17 2016-12-28 松下知识产权经营株式会社 摄像装置
CN107852470A (zh) * 2015-08-04 2018-03-27 松下知识产权经营株式会社 固体摄像装置的驱动方法
KR101832364B1 (ko) * 2017-02-22 2018-04-04 경희대학교 산학협력단 재귀 반사 필름을 이용한 거리 측정 장치 및 방법
JP2018185179A (ja) * 2017-04-25 2018-11-22 株式会社リコー 測距装置、監視装置、３次元計測装置、移動体、ロボット及び測距方法
WO2019078366A1 (ja) * 2017-10-20 2019-04-25 国立大学法人静岡大学 距離画像測定装置及び距離画像測定方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5705807A (en) * 1994-10-24 1998-01-06 Nissan Motor Co., Ltd. Photo detecting apparatus for detecting reflected light from an object and excluding an external light componet from the reflected light
JP3820087B2 (ja) * 1999-08-11 2006-09-13 ペンタックス株式会社 ３次元画像検出装置
WO2008152647A2 (en) * 2007-06-15 2008-12-18 Ben Gurion University Of The Negev Research And Development Authority Three-dimensional imaging method and apparatus
CN102378920B (zh) * 2009-02-27 2014-01-08 松下电器产业株式会社 测距设备
JP5343055B2 (ja) * 2010-09-13 2013-11-13 本田技研工業株式会社 撮像装置および撮像方法
JP6298236B2 (ja) * 2013-02-22 2018-03-20 スタンレー電気株式会社 距離画像生成装置および距離画像生成方法
WO2015025497A1 (ja) * 2013-08-23 2015-02-26 パナソニックＩｐマネジメント株式会社 測距システム及び信号発生装置
US9900485B2 (en) * 2014-01-08 2018-02-20 Mitsubishi Electric Corporation Image generation device
CN105899966B (zh) * 2014-01-14 2019-05-07 松下知识产权经营株式会社 距离图像生成装置以及距离图像生成方法
JP2017133853A (ja) * 2016-01-25 2017-08-03 株式会社リコー 測距装置
KR20170098089A (ko) * 2016-02-19 2017-08-29 삼성전자주식회사 전자 장치 및 그의 동작 방법
JP6851638B2 (ja) * 2016-03-30 2021-03-31 国立大学法人静岡大学 画素回路及び撮像素子
CN107710275A (zh) * 2016-05-23 2018-02-16 索尼公司 电子装置、电子装置控制方法和程序
JP6834211B2 (ja) * 2016-07-15 2021-02-24 株式会社リコー 測距装置、移動体、ロボット、３次元計測装置及び測距方法
WO2019123831A1 (ja) * 2017-12-22 2019-06-27 ソニーセミコンダクタソリューションズ株式会社 パルス生成器および信号生成装置
US11333763B2 (en) * 2017-12-22 2022-05-17 Sony Semiconductor Solutions Corporation Signal generation apparatus
JP2019142536A (ja) 2018-02-20 2019-08-29 レンゴー株式会社 トレイ
WO2020178920A1 (ja) * 2019-03-01 2020-09-10 株式会社ブルックマンテクノロジ 距離画像撮像装置および距離画像撮像装置による距離画像撮像方法
US11598860B2 (en) * 2019-03-20 2023-03-07 Brookman Technology, Inc. Distance image capturing device, distance image capturing system, and distance image capturing method

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1152261A1 (en) * 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
JP2010096730A (ja) * 2008-10-20 2010-04-30 Honda Motor Co Ltd 測距システム及び測距方法
WO2016075885A1 (ja) * 2014-11-11 2016-05-19 パナソニックＩｐマネジメント株式会社 距離検出装置及び距離検出方法
JP2016189557A (ja) * 2015-03-30 2016-11-04 ソニー株式会社 撮像素子およびその駆動方法、並びに電子機器
CN106067954A (zh) * 2015-04-20 2016-11-02 三星电子株式会社 成像单元和系统
CN106256313A (zh) * 2015-06-17 2016-12-28 松下知识产权经营株式会社 摄像装置
CN107852470A (zh) * 2015-08-04 2018-03-27 松下知识产权经营株式会社 固体摄像装置的驱动方法
KR101832364B1 (ko) * 2017-02-22 2018-04-04 경희대학교 산학협력단 재귀 반사 필름을 이용한 거리 측정 장치 및 방법
JP2018185179A (ja) * 2017-04-25 2018-11-22 株式会社リコー 測距装置、監視装置、３次元計測装置、移動体、ロボット及び測距方法
WO2019078366A1 (ja) * 2017-10-20 2019-04-25 国立大学法人静岡大学 距離画像測定装置及び距離画像測定方法

Also Published As

Publication number Publication date
EP4009073A4 (en) 2023-07-12
JP2021025833A (ja) 2021-02-22
WO2021020496A1 (ja) 2021-02-04
TW202112122A (zh) 2021-03-16
JP7463671B2 (ja) 2024-04-09
EP4009073A1 (en) 2022-06-08
CN114175618B (zh) 2024-06-14
US20220146684A1 (en) 2022-05-12
US11982750B2 (en) 2024-05-14
TWI780462B (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
CN114175618B (zh) 距离图像摄像装置以及距离图像摄像方法
US10764518B2 (en) Pixel structure
CN113272684A (zh) 具有信号相关有效读出率的高动态范围直接飞行时间传感器
JP7016183B2 (ja) 距離画像撮像装置、および距離画像撮像方法
US20190007592A1 (en) Imaging device and solid-state imaging element used in same
US20230358863A1 (en) Range imaging device and range imaging method
US11336854B2 (en) Distance image capturing apparatus and distance image capturing method using distance image capturing apparatus
JP7363899B2 (ja) 距離画像撮像装置及び距離画像撮像方法
CN116710803A (zh) 距离图像摄像装置以及距离图像摄像方法
JP2001148867A (ja) ３次元画像検出装置
CN114829970A (zh) 飞行时间成像电路、飞行时间成像系统和飞行时间成像方法
US20240192335A1 (en) Distance image capturing device and distance image capturing method
JP2024078837A (ja) 距離画像撮像装置、及び距離画像撮像方法
WO2023228981A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
WO2023234253A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2023147558A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2024082236A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2022191793A (ja) 距離画像撮像装置及び距離画像撮像方法
CN116671123A (zh) 距离图像摄像装置以及距离图像摄像方法
JP2023180900A (ja) 距離画像撮像装置、及び距離画像撮像方法
CN116745645A (zh) 距离图像摄像装置以及距离图像摄像方法
JP2024041961A (ja) 距離画像撮像装置、及び距離画像撮像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant