CN116710803A - 距离图像摄像装置以及距离图像摄像方法 - Google Patents

距离图像摄像装置以及距离图像摄像方法 Download PDF

Info

Publication number
CN116710803A
CN116710803A CN202280009941.4A CN202280009941A CN116710803A CN 116710803 A CN116710803 A CN 116710803A CN 202280009941 A CN202280009941 A CN 202280009941A CN 116710803 A CN116710803 A CN 116710803A
Authority
CN
China
Prior art keywords
charge storage
charge
distance
storage unit
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280009941.4A
Other languages
English (en)
Inventor
中込友洋
大久保优
高桥聪
后藤浩成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toppan Inc
Original Assignee
Toppan Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toppan Printing Co Ltd filed Critical Toppan Printing Co Ltd
Publication of CN116710803A publication Critical patent/CN116710803A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4868—Controlling received signal intensity or exposure of sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

距离图像摄像装置具备光源部、受光部、以及对到被摄体的距离进行运算的距离图像处理部，上述距离图像处理部进行上述照射定时与上述蓄积定时的相对的定时关系相互不同的多次测定，提取基于在上述多次测定中分别蓄积的电荷量的特征量，并基于上述提取的特征量的趋势，判定是上述光脉冲的反射光以单路径被上述像素进行了受光、还是上述光脉冲的反射光以多路径被上述像素进行了受光，根据上述判定的结果计算到存在于上述测定空间的被摄体的距离。

Description

距离图像摄像装置以及距离图像摄像方法
技术领域
本发明涉及距离图像摄像装置以及距离图像摄像方法。
本申请主张2021年1月25日向日本提交的特愿2021-009673号的优先权，并将其内容援用于此。
背景技术
一直以来，作为用于计测与物体之间的距离的技术，存在对光脉冲的飞行时间进行测定的技术。这种技术被称为飞行时间(Time of Flight，以下称为TOF)。在TOF中，利用光的速度为已知的情况来计算与物体之间的距离。使用TOF技术来得到包含物体的二维图像中的每个像素的进深信息、即针对物体的三维信息的距离图像摄像装置被实用化。在距离图像摄像装置中，包括光电二极管(PD)的像素在硅基板上配置为二维矩阵状，通过该像素面对光脉冲由物体反射后的反射光进行受光。在距离图像摄像装置中，通过将基于各个像素所受光的光量(电荷量)的光电转换信号输出一个图像量，由此得到包含物体的二维图像以及构成该图像的各个像素的距离信息。例如，专利文献1公开了一种技术，通过向设置于一个像素的3个电荷蓄积部依次分配与所受光的光相应的电荷并蓄积，由此计算出距离。
现有技术文献
专利文献
专利文献1：日本专利第4235729号公报
发明内容
发明要解决的课题
在这样的距离图像摄像装置中，假定像素对在光脉冲的光源与物体之间直接往返的直接波(单路径)进行受光而定义了计算距离的运算式。然而，有时在物体的角部、物体的表面成为凹凸构造的部分等光脉冲多重反射，对直接波与间接波混合存在的多路径进行了受光。在对这样的多路径进行受光的情况下，当视为对单路径进行受光而计算距离时，存在测定距离会产生误差这样的问题。
本发明是鉴于上述课题而进行的，其目的在于提供能够判定像素是对单路径进行了受光还是对多路径进行了受光的距离图像摄像装置以及距离图像摄像方法。而且，其目的在于，在判定为像素对单路径进行了受光的情况下，计算到一个反射体的距离，以及在判定为像素对多路径进行了受光的情况下，计算到多个反射体各自的距离。
用于解决课题的手段
本发明的距离图像摄像装置具备：光源部，向测定对象的空间即测定空间照射光脉冲；受光部，其具有：像素，具备产生与所入射的光相应的电荷的光电转换元件以及蓄积电荷的3个以上的电荷蓄积部；以及像素驱动电路，在与上述光脉冲的照射同步的定时，向上述像素中的上述电荷蓄积部分别分配电荷并使其蓄积；以及距离图像处理部，控制照射上述光脉冲的照射定时以及向上述电荷蓄积部分别分配电荷并使其蓄积的蓄积定时，基于上述电荷蓄积部分别蓄积的电荷量，计算到存在于上述测定空间的被摄体的距离，上述距离图像处理部为，进行上述照射定时与上述蓄积定时的相对的定时关系相互不同的多次测定，提取基于在上述多次测定中分别蓄积的电荷量的特征量，基于上述提取的特征量的趋势，判定是上述光脉冲的反射光以单路径被上述像素进行了受光、还是上述光脉冲的反射光以多路径被上述像素进行了受光，根据上述判定的结果计算到存在于上述测定空间的被摄体的距离。
在本发明的距离图像摄像装置中也可以为，上述距离图像处理部为，使用上述反射光以单路径被上述像素进行了受光的情况下的上述相对的定时关系与上述特征量被建立了对应的查找表，基于上述查找表的趋势与上述多次测定各自的上述特征量的趋势之间的类似程度，判定是上述反射光以单路径被上述像素进行了受光、还是上述光脉冲的上述反射光以多路径被上述像素进行了受光。
在本发明的距离图像摄像装置中也可以为，上述查找表根据上述光脉冲的形状、上述光脉冲的照射时间、使上述电荷蓄积部分别蓄积电荷的蓄积时间中的至少任一个测定条件而制作，上述距离图像处理部使用与上述测定条件对应的上述查找表，判定是上述反射光以单路径被上述像素进行了受光、还是上述反射光以多路径被上述像素进行了受光。
在本发明的距离图像摄像装置中也可以为，上述特征量是使用对上述3个以上的电荷蓄积部分别蓄积的电荷中的至少与上述反射光相应的电荷进行蓄积的电荷蓄积部所蓄积的电荷量计算出的值。
在本发明的距离图像摄像装置中也可以为，在上述像素设置有第一电荷蓄积部、第二电荷蓄积部以及第三电荷蓄积部，上述距离图像处理部为，在向上述第一电荷蓄积部、上述第二电荷蓄积部、或者上述第三电荷蓄积部中的至少任一个蓄积与上述反射光相应的电荷的定时，按照上述第一电荷蓄积部、上述第二电荷蓄积部、上述第三电荷蓄积部的顺序蓄积电荷，上述特征量是将上述第一电荷蓄积部、上述第二电荷蓄积部以及上述第三电荷蓄积部各自的蓄积电荷量作为变量的复数。例如，上述特征量也可以是由将上述第一电荷蓄积部所蓄积的第一电荷量与上述第二电荷蓄积部所蓄积的第二电荷量的差分即第一变量作为实部、将上述第二电荷蓄积部所蓄积的第二电荷量与上述第三电荷蓄积部所蓄积的第三电荷量的差分即第二变量作为虚部的复数表示的值。
在本发明的距离图像摄像装置中也可以为，在上述多次测定中控制为，使上述照射定时相对于上述蓄积定时相对地延迟的延迟时间成为相互不同的时间。
在本发明的距离图像摄像装置中也可以为，上述距离图像处理部为，使用在上述反射光以单路径被上述像素进行了受光的情况下的上述相对的定时关系与上述特征量被建立了对应的查找表，计算表示上述查找表的趋势与上述多次测定各自的上述特征量的趋势之间的类似程度的指标值，在上述指标值不超过阈值的情况下判定为上述反射光以单路径被上述像素进行了受光，在上述指标值超过上述阈值的情况下判定为上述反射光以多路径被上述像素进行了受光，上述指标值是上述多次测定各自的差分正规化值相加而得的和值，上述差分正规化值是对上述多次测定分别计算出的上述特征量即第一特征量与在上述查找表中与上述多次测定分别对应的上述特征量即第二特征量的差分、用上述第二特征量的绝对值进行了正规化而得的。
在本发明的距离图像摄像装置中也可以为，上述距离图像处理部为，在判定为上述反射光以多路径被上述像素进行了受光的情况下，使用最小二乘法来计算与多路径所包含的光的路径分别对应的距离。
在本发明的距离图像摄像装置中也可以为，还具备将由上述光电转换元件产生的电荷排出的电荷排出部。上述距离图像处理部进行控制而使得：在1帧期间中，重复多次在与上述光脉冲的照射同步的定时向上述像素中的上述电荷蓄积部分别分配电荷并使其蓄积的单位蓄积处理，由此向上述电荷蓄积部分别蓄积电荷，在上述单位蓄积处理中在与向上述电荷蓄积部分别蓄积电荷的时间区间不同的时间区间，通过上述电荷排出部排出由上述光电转换元件产生的电荷。
在本发明的距离图像摄像装置中也可以为，上述距离图像处理部为，基于上述多次测定中的最初的测定来计算到上述被摄体的暂定距离，基于上述暂定距离来决定在上述多次测定中的剩余测定中使用的延迟时间，上述延迟时间是使上述照射定时相对于上述蓄积定时相对地延迟的时间。
在本发明的距离图像摄像装置中也可以为，上述距离图像处理部基于上述光脉冲前进上述暂定距离所需要的时间以及上述特征量的趋势来决定上述延迟时间。
在本发明的距离图像摄像装置中也可以为，上述距离图像处理部为，在上述暂定距离为超过阈值的远距离的情况下，与上述暂定距离为未超过上述阈值的短距离的情况相比较，使上述多次测定中的剩余测定中的向上述电荷蓄积部分别分配电荷并使其蓄积的蓄积次数增加。
在本发明的距离图像摄像装置中也可以为，上述距离图像处理部为，在判定为上述反射光以单路径被上述像素进行了受光的情况下，基于上述多个测定定时的测定来分别计算到上述被摄体的暂定距离，并将计算出的暂定距离各自的代表值决定为到上述被摄体的距离。
另外，在距离图像摄像装置中也可以为，上述距离图像处理部为，在判定为上述反射光以单路径被上述像素进行了受光的情况下，基于上述多个测定定时的测定且基于最小二乘法来分别决定到上述被摄体的暂定距离，上述距离图像处理部为，在判定为上述反射光以多路径被上述像素进行了受光的情况下，基于上述多个测定定时的测定且基于最小二乘法来决定上述被摄体各自的距离。
本发明的距离图像摄像方法为，由距离图像摄像装置进行，该距离图像摄像装置具备：光源部，向测定对象的空间即测定空间照射光脉冲；受光部，其具有：像素，具备产生与所入射的光相应的电荷的光电转换元件以及蓄积电荷的3个以上的电荷蓄积部；以及像素驱动电路，在与上述光脉冲的照射同步的定时，向上述像素中的上述电荷蓄积部分别分配电荷并使其蓄积；以及距离图像处理部，控制照射上述光脉冲的照射定时以及向上述电荷蓄积部分别分配电荷并使其蓄积的蓄积定时，基于上述电荷蓄积部分别蓄积的电荷量，计算到存在于上述测定空间的被摄体的距离，在上述距离图像摄像方法中，上述距离图像处理部为，进行上述照射定时与上述蓄积定时的相对的定时关系相互不同的多次测定，提取基于在上述多次测定中分别蓄积的电荷量的特征量，基于上述提取的特征量的趋势，判定是上述光脉冲的反射光以单路径被上述像素进行了受光、还是上述光脉冲的反射光以多路径被上述像素进行了受光，根据上述判定的结果计算到存在于上述测定空间的被摄体的距离。
发明的效果
根据本发明，能够判定像素是对单路径进行了受光还是对多路径进行了受光。另外，在判定为像素对单路径进行了受光的情况下，计算到一个反射体的距离，在判定为像素对多路径进行了受光的情况下，计算到多个反射体各自的距离。
附图说明
图1是表示一个实施方式的距离图像摄像装置的概略构成的框图。
图2是表示一个实施方式的距离图像传感器的概略构成的框图。
图3是表示一个实施方式的像素的构成的一个例子的电路图。
图4是表示一个实施方式的驱动像素的定时的时序图。
图5是说明一个实施方式的多路径的图。
图6是表示一个实施方式的复函数的例子的图。
图7是表示一个实施方式的复函数的例子的图。
图8是表示一个实施方式的驱动像素的定时的时序图。
图9是说明一个实施方式的距离图像处理部进行的处理的图。
图10是说明一个实施方式的距离图像处理部进行的处理的图。
图11是说明一个实施方式的距离图像处理部进行的处理的图。
图12是说明一个实施方式的距离图像处理部进行的处理的图。
图13是表示一个实施方式的距离图像摄像装置进行的处理的流程的流程图。
图14是表示一个实施方式的变形例的距离图像摄像装置进行的处理的流程的流程图。
具体实施方式
以下，参照附图对一个实施方式的距离图像摄像装置进行说明。
(一个实施方式)
首先，对一个实施方式进行说明。图1是表示本发明的一个实施方式的距离图像摄像装置的概略构成的框图。图1所示的构成的距离图像摄像装置1具备光源部2、受光部3、以及距离图像处理部4。图1中还一并示出在距离图像摄像装置1中测定距离的对象物即被摄体OB。
光源部2根据来自距离图像处理部4的控制，向在距离图像摄像装置1中测定距离的对象的被摄体OB所存在的测定对象的空间照射光脉冲PO。光源部2例如是垂直腔面发射激光器(VCSEL：Vertical Cavity Surface Emitting LAser)等面发光型的半导体激光模块。光源部2具备光源装置21以及扩散板22。
光源装置21是发出成为向被摄体OB照射的光脉冲PO的、近红外波段(例如，波长为850nm～940nm的波段)的激光的光源。光源装置21例如是半导体激光发光元件。光源装置21根据来自定时控制部41的控制而发出脉冲状的激光。
扩散板22是将光源装置21发出的近红外波段的激光扩散成向被摄体OB照射的面的面积的光学部件。扩散板22扩散后的脉冲状的激光作为光脉冲PO而射出，并照射于被摄体OB。
受光部3对由在距离图像摄像装置1中测定距离的对象的被摄体OB反射的光脉冲PO的反射光RL进行受光，并输出与所受光的反射光RL相应的像素信号。受光部3具备透镜31以及距离图像传感器32。
透镜31是将所入射的反射光RL导向距离图像传感器32的光学透镜。透镜31将所入射的反射光RL向距离图像传感器32侧射出，使距离图像传感器32的受光区域所具备的像素受光(入射)。
距离图像传感器32是用于距离图像摄像装置1的摄像元件。距离图像传感器32在二维的受光区域中具备多个像素。在距离图像传感器32的各个像素中设置有一个光电转换元件、与该一个光电转换元件对应的多个电荷蓄积部、以及向各个电荷蓄积部分配电荷的构成要素。即，像素是向多个电荷蓄积部分配电荷并使其蓄积的分配构成的摄像元件。
距离图像传感器32根据来自定时控制部41的控制，将光电转换元件产生的电荷向各个电荷蓄积部分配。另外，距离图像传感器32输出与电荷蓄积部被分配的电荷量相应的像素信号。在距离图像传感器32中多个像素配置为二维矩阵状，并输出各个像素所对应的1帧量(1帧期间)的像素信号。
距离图像处理部4控制距离图像摄像装置1，运算到被摄体OB的距离。距离图像处理部4具备定时控制部41、距离运算部42以及测定控制部43。
定时控制部41根据测定控制部43的控制，对输出测定所需要的各种控制信号的定时进行控制。此处的各种控制信号例如是对光脉冲PO的照射进行控制的信号、将反射光RL向多个电荷蓄积部分配的信号、对每1帧的分配次数(蓄积次数)进行控制的信号等。分配次数(蓄积次数)是指重复向电荷蓄积部CS(参照图3)分配电荷的处理的次数。该分配次数与在1次分配电荷的处理中向各电荷蓄积部蓄积电荷的时间(后述的蓄积时间Ta)之积为曝光时间。
距离运算部42基于从距离图像传感器32输出的像素信号，输出对到被摄体OB的距离进行了运算而得的距离信息。距离运算部42基于多个电荷蓄积部所蓄积的电荷量，计算从照射光脉冲PO起到对反射光RL进行受光为止的延迟时间Td(参照图4)。距离运算部42根据所计算出的延迟时间Td来运算到被摄体OB的距离。
测定控制部43对定时控制部41进行控制。例如，测定控制部431对帧的分配次数以及蓄积时间Ta(参照图4)进行设定，并控制定时控制部41以便按照所设定的内容进行摄像。
根据这种构成，在距离图像摄像装置1中，光源部2向被摄体OB照射的近红外波段的光脉冲PO由被摄体OB反射后的反射光RL由受光部3受光，距离图像处理部4输出对与被摄体OB之间的距离进行了测定而得的距离信息。
另外，在图1中示出了在内部具备距离图像处理部4的构成的距离图像摄像装置1，但距离图像处理部4也可以是设置在距离图像摄像装置1外部的构成要素。
接下来，说明在距离图像摄像装置1中被用作为摄像元件的距离图像传感器32的构成。图2是表示本发明的一个实施方式的距离图像摄像装置1所使用的摄像元件(距离图像传感器32)的概略构成的框图。
如图2所示那样，距离图像传感器32例如具备配置有多个像素321的受光区域320、控制电路322、具有分配动作的垂直扫描电路323、水平扫描电路324、以及像素信号处理电路325。
受光区域320是配置有多个像素321的区域，在图2中示出以8行8列配置为二维矩阵状的例子。像素321蓄积与所受光的光量相当的电荷。控制电路322总括控制距离图像传感器32。控制电路322例如根据来自距离图像处理部4的定时控制部41的指示，对距离图像传感器32的构成要素的动作进行控制。另外，也可以是定时控制部41直接进行距离图像传感器32所具备的构成要素的控制的构成，在该情况下还能够省略控制电路322。
垂直扫描电路323是根据来自控制电路322的控制，按照每行对配置于受光区域320的像素321进行控制的电路。垂直扫描电路323使与像素321的电荷蓄积部CS分别蓄积的电荷量相应的电压信号向像素信号处理电路325输出。在该情况下，垂直扫描电路323将由光电转换元件转换后的电荷向像素321的电荷蓄积部分别分配。即，垂直扫描电路323是“像素驱动电路”的一个例子。
像素信号处理电路325是根据来自控制电路322的控制，对于从各个列的像素321向对应的垂直信号线输出的电压信号、进行预先确定的信号处理(例如，噪声抑制处理、A/D转换处理等)的电路。
水平扫描电路324是根据来自控制电路322的控制，将从像素信号处理电路325输出的信号向水平信号线依次输出的电路。由此，与蓄积了1帧量的电荷量相当的像素信号经由水平信号线向距离图像处理部4依次输出。
以下，设为像素信号处理电路325进行A/D转换处理、像素信号为数字信号而进行说明。
在此，对距离图像传感器32所具备的受光区域320内所配置的像素321的构成进行说明。图3是表示一个实施方式的距离图像传感器32的受光区域320内所配置的像素321的构成的一个例子的电路图。图3示出受光区域320内所配置的多个像素321中的一个像素321的构成的一个例子。像素321是具备3个像素信号读出部的构成的一个例子。
像素321具备一个光电转换元件PD、漏极栅极晶体管GD、以及从对应的输出端子OUT输出电压信号的3个像素信号读出部RU。
像素信号读出部RU分别具备读出栅极晶体管G、浮动扩散区FD、电荷蓄积容量C、复位栅极晶体管RT、源极跟随栅极晶体管SF、以及选择栅极晶体管SL。在各个像素信号读出部RU中，由浮动扩散区FD与电荷蓄积容量C构成电荷蓄积部CS。
另外，在图3中，通过在3个像素信号读出部RU的符号“RU”之后附加“1”、“2”或者“3”的数字，由此对各个像素信号读出部RU进行区别。另外，同样，对于3个像素信号读出部RU所具备的各个构成要素，也通过在符号之后示出表示各个像素信号读出部RU的数字，由此将各个构成要素所对应的像素信号读出部RU区别地进行表示。
在图3所示的像素321中，从输出端子OUT1输出电压信号的像素信号读出部RU1具备读出栅极晶体管G1、浮动扩散区FD1、电荷蓄积容量C1、复位栅极晶体管RT1、源极跟随栅极晶体管SF1、以及选择栅极晶体管SL1。在像素信号读出部RU1中，由浮动扩散区FD1与电荷蓄积容量C1构成电荷蓄积部CS1。像素信号读出部RU2以及像素信号读出部RU3也是同样的构成。电荷蓄积部CS1是“第一电荷蓄积部”的一个例子。电荷蓄积部CS2是“第二电荷蓄积部”的一个例子。电荷蓄积部CS3是“第三电荷蓄积部”的一个例子。
光电转换元件PD是对所入射的光进行光电转换而产生电荷，并蓄积所产生的电荷的埋入型的光电二极管。光电转换元件PD的构造可以是任意的。光电转换元件PD例如可以是将P型半导体与N型半导体接合而成的构造的PN光电二极管，也可以是在P型半导体与N型半导体之间夹着I型半导体的构造的PIN光电二极管。另外，光电转换元件PD并不限定于光电二极管，例如也可以是光栅方式的光电转换元件。
在像素321中，将光电转换元件PD对所入射的光进行光电转换而产生的电荷向3个电荷蓄积部CS分别进行分配，将与所分配的电荷的电荷量相应的各个电压信号向像素信号处理电路325输出。
距离图像传感器32中所配置的像素的构成，并不限定于图3所示那样的具备3个像素信号读出部RU的构成，只要是具备多个像素信号读出部RU的构成的像素即可。即，距离图像传感器32中所配置的像素所具备的像素信号读出部RU(电荷蓄积部CS)的数量也可以为4个以上。
另外，在图3所示的构成的像素321中，示出了电荷蓄积部CS由浮动扩散区FD与电荷蓄积容量C构成的一个例子。但是，电荷蓄积部CS至少由浮动扩散区FD构成即可，也可以是像素321不具备电荷蓄积容量C的构成。
另外，在图3所示的构成的像素321中，示出了具备漏极栅极晶体管GD的构成的一个例子，但在不必废弃光电转换元件PD所蓄积(残留)的电荷的情况下，也可以是不具备漏极栅极晶体管GD的构成。
接下来，使用图4对一个实施方式的像素321的驱动定时进行说明。图4是表示对一个实施方式的像素321进行驱动的定时的时序图。在图4中示出了从照射光脉冲PO起经过了延迟时间Td之后对反射光进行受光的像素的时序图。
在图4中，将照射光脉冲PO的定时用“L”的项目名表示，将反射光被受光的定时用“R”的项目名表示，将驱动信号TX1的定时用“G1”的项目名表示，将驱动信号TX2的定时用“G2”的项目名表示，将驱动信号TX3的定时用“G3”的项目名表示，将驱动信号RSTD的定时用“GD”的项目名表示。另外，驱动信号TX1是使读出栅极晶体管G1驱动的信号。驱动信号TX2、TX3也同样。
如图4所示那样设为，在照射时间To照射光脉冲PO，在延迟了延迟时间Td之后由距离图像传感器32受光到反射光RL。垂直扫描电路323与光脉冲PO的照射同步，按照电荷蓄积部CS1、CS2、以及CS3的顺序蓄积电荷。在图4中，在一次分配处理中，将照射光脉冲PO而使电荷蓄积部CS依次蓄积电荷为止的时间表示为单位蓄积时间UT。
如图4所示那样，垂直扫描电路323与照射光脉冲PO的定时同步，使漏极栅极晶体管GD成为截止状态，并且使读出栅极晶体管G1成为导通状态。垂直扫描电路323在从使读出栅极晶体管G1成为导通状态起经过蓄积时间Ta之后，使读出栅极晶体管G1成为截止状态。由此，在读出栅极晶体管G1被控制为导通状态的期间由光电转换元件PD进行光电转换而得的电荷，经由读出栅极晶体管G1蓄积于电荷蓄积部CS1。
接下来，垂直扫描电路323在使读出栅极晶体管G1成为截止状态的定时，使读出栅极晶体管G2在蓄积时间Ta成为导通状态。由此，在读出栅极晶体管G2被控制为导通状态的期间由光电转换元件PD光电转换后的电荷，经由读出栅极晶体管G2蓄积于电荷蓄积部CS2。
接下来，垂直扫描电路323在使向电荷蓄积部CS2的电荷蓄积结束的定时，使读出栅极晶体管G3成为导通状态，并在经过了蓄积时间Ta之后使读出栅极晶体管G3成为截止状态。由此，在读出栅极晶体管G3被控制为导通状态的期间由光电转换元件PD光电转换后的电荷，经由读出栅极晶体管G3蓄积于电荷蓄积部CS3。
接下来，垂直扫描电路323在使向电荷蓄积部CS3的电荷蓄积结束的定时，使漏极栅极晶体管GD成为导通状态而进行电荷的排出。由此，由光电转换元件PD光电转换后的电荷经由漏极栅极晶体管GD而被废弃。
如此，在该一个实施方式中控制为，在单位蓄积时间UT中除了向电荷蓄积部CS蓄积电荷的时间区间以外的定时，不蓄积被光电转换后的电荷。其原因在于，在该一个实施方式中是断续地照射光脉冲PO的所谓短脉冲方式(以下，称为SP方式)。在SP方式中，在单位蓄积时间UT中，在不想要对反射光RL进行受光的时间区间中，使漏极栅极晶体管GD成为导通状态而进行电荷的排出。由此，在不想要对光脉冲PO的反射光RL进行受光的时间区间中，避免持续蓄积与外部光成分相应的电荷。
另一方面，在连续地照射光脉冲PO的所谓连续波方式(以下，称为CW方式)中，不是在单位蓄积时间UT中每当使电荷向电荷蓄积部CS蓄积时就进行电荷的排出。其原因在于，在CW方式中，始终对反射光RL进行受光，因此不存在不想要对反射光RL进行受光的时间区间。在CW方式中，在1帧中在执行将单位蓄积时间UT重复多次的处理的时间区间中，与光电转换元件PD连接的复位栅极晶体管等电荷排出部被控制为截止状态，不进行电荷的排出。然后，在1帧中当读出时间RD到来时，在将电荷蓄积部CS各自所蓄积的电荷量读出之后，复位栅极晶体管等电荷排出部被控制为导通状态，进行电荷的排出。另外，在上述说明中，以光电转换元件PD连接有电荷排出部的机构为例进行了说明，但并不限定于此。也可以是使用光电转换元件PD中不存在电荷排出部而浮动扩散区FD连接有电荷排出部的复位栅极晶体管的机构等。
在该一个实施方式中控制为，在单位蓄积时间UT中在与向电荷蓄积部CS蓄积电荷的时间区间不同的时间区间中进行光电转换而得的电荷，由漏极栅极晶体管GD(“电荷排出部”的一个例子)排出。由此，即使存在由于电荷传送的延迟等而电荷蓄积部CS所蓄积的电荷量产生误差的情况，与CW方式那样不按照每个单位蓄积时间UT来排出电荷的情况相比较，能够降低其误差。
在该一个实施方式中，由于采用SP方式，因此距离图像摄像装置1的像素321具备漏极栅极晶体管GD。由此，与通过CW方式在1帧中持续蓄积电荷的情况相比较能够降低误差，因此能够提高电荷量的SN比(误差相对于信号成分的比例)。因此，即使增加累计次数也不易累计误差，因此能够维持电荷蓄积部CS所蓄积的电荷量的精度，高精度地计算特征量。
垂直扫描电路323遍及1帧将上述那样的驱动反复进行规定的分配次数量。然后，垂直扫描电路323生成与向各个电荷蓄积部CS分配的电荷量相应的电压信号。具体地，垂直扫描电路323通过使选择栅极晶体管SL1在规定时间成为导通状态，由此从输出端子OUT1输出与经由像素信号读出部RU1蓄积于电荷蓄积部CS1的电荷量对应的电压信号。同样，垂直扫描电路323依次使选择栅极晶体管SL2、SL3成为导通状态，由此从输出端子OUT2、OUT3输出与电荷蓄积部CS2、CS3所蓄积的电荷量对应的电压信号。然后，向距离运算部42输出与经由像素信号处理电路325以及水平扫描电路324向电荷蓄积部CS分别蓄积的1帧量的电荷量相当的电信号。
另外，在上述中，以光源部2在读出栅极晶体管G1成为导通状态的定时照射光脉冲PO的情况为例进行了说明。然而，并不限定于此。光脉冲PO只要至少在来自作为测定对象的物体的反射光RL跨越3个电荷蓄积部CS1～CS3中的任意两个而被受光的定时进行照射即可。例如，也可以在读出栅极晶体管G1成为导通状态之后照射光脉冲PO。另外，在上述中，以照射光脉冲PO的照射时间To为与蓄积时间Ta相同长度的情况为例进行了说明。然而，并不限定于此。照射时间To与蓄积时间Ta也可以是不同的时间间隔。
在图4所示那样的近距离受光像素中，根据照射光脉冲PO的定时与向电荷蓄积部CS分别蓄积电荷的定时之间的关系，向电荷蓄积部CS1以及CS2分配并保持与反射光RL以及外部光成分相当的电荷量。另外，在电荷蓄积部CS3中保持有与背景光等外部光成分相当的电荷量。向电荷蓄积部CS1以及CS2分配的电荷量的配比(分配比例)，成为与光脉冲PO由被摄体OB反射而入射到距离图像摄像装置1为止的延迟时间Td相应的比例。
距离运算部42利用该原理在以往的近距离受光像素中根据以下的式(1)来计算延迟时间Td。另外，在式(1)中，其前提在于，电荷蓄积部CS1以及CS2所蓄积的电荷量中的与外部光成分相当的电荷量和电荷蓄积部CS3所蓄积的电荷量为同量。
Td＝To×(Q2-Q3)/(Q1+Q2-2×Q3)…式(1)
其中，To为照射光脉冲PO的期间
Q1为电荷蓄积部CS1所蓄积的电荷量
Q2为电荷蓄积部CS2所蓄积的电荷量
Q3为电荷蓄积部CS3所蓄积的电荷量
距离运算部42在近距离受光像素中，通过对根据式(1)求出的延迟时间Td乘以光速(速度)，来计算到被摄体OB的往返距离。然后，距离运算部42通过使在上述计算出的往返距离成为1/2，求出到被摄体OB的距离。
接下来，使用图5对一个实施方式的多路径进行说明。图5是对一个实施方式的多路径进行说明的图。在距离图像摄像装置1中，使用与Lider(Light Detection andRanging)等相比较照射范围更大的光源。因此，具有对于具有一定程度范围的空间能够一次进行测定的优点，但具有容易产生多路径这样的缺点。在图5的例子中示意性地示出如下情况：距离图像摄像装置1向测定空间E照射光脉冲PO，对直接波W1与间接波W2的多个反射波(多路径)进行受光。在以下的说明中，对多路径由两个反射波构成的情况进行例示而进行说明。然而，并不限定于此，多路径也可以由3个以上反射波构成。即使在多路径由3个以上反射波构成的情况下，也能够应用在以下说明的方法。
对多路径进行受光的情况下的距离图像摄像装置1所受光的反射光的形状(时间序列变化)，与仅对单路径进行受光的情况下的反射光的形状不同。
例如，在单路径的情况下，距离图像摄像装置1在延迟了延迟时间Td之后对与光脉冲为相同形状的反射光(直接波W1)进行受光。与此相对，在多路径的情况下，除了直接波以外，在延迟了延迟时间Td+α之后还对与光脉冲为相同形状的反射光(间接波W2)进行受光。此处的α是间接波W2相对于直接波W1延迟的时间。即，在多路径的情况下，距离图像摄像装置1对多个与光脉冲为相同形状的光以相互具有时间差的方式被进行了相加的状态下的反射光进行受光。
即，在多路径与单路径的情况下，对不同形状(时间序列变化)的反射光进行受光。上述式(1)是以延迟时间为光脉冲在光源与物体之间直接往返所需要的时间为前提的数式。即，在式(1)中，以距离图像摄像装置1对单路径进行受光为前提。因此，当虽然距离图像摄像装置1对多路径进行了受光、但使用式(1)来计算距离时，就会导致计算出的距离成为与哪个反射体的位置都不对应的非物理的距离。因此，例如，计算出的距离(测定距离)与实际的距离之间的差异背离，成为产生误差的重要原因。
作为其对策，在该一个实施方式中，判定距离图像摄像装置1是对单路径进行了受光还是对多路径进行了受光，并根据判定结果来运算距离。例如，在距离图像摄像装置1对单路径进行了受光的情况，使用假定了单个反射体的关系式、例如式(1)来计算距离。在距离图像摄像装置1对多路径进行了受光的情况下，不使用式(1)而通过其他方法来计算距离。由此，计算出的距离必然成为与反射体所存在的位置对应的距离，或者能够成为与多个位置对应的在物理上合理的距离，能够降低测定距离产生的误差。
在此，说明对距离图像摄像装置1是对单路径进行了受光还是对多路径进行了受光进行判定的判定方法。距离图像摄像装置1基于像素321具备的3个电荷蓄积部CS分别蓄积的电荷量，提取其特征量。然后，根据所提取的特征量的趋势，判定像素321是对单路径进行了受光还是对多路径进行了受光。
具体地，距离图像处理部4基于电荷蓄积部CS分别蓄积的电荷量，计算以下的式(2)所示的复变量CP。复变量CP是“特征量”的一个例子。
CP＝(Q1-Q2)+j(Q2-Q3)…式(2)
其中，j为虚数单位
Q1为电荷蓄积部CS1所蓄积的蓄积电荷量(第一电荷量)
Q2为电荷蓄积部CS2所蓄积的蓄积电荷量(第二电荷量)
Q3为电荷蓄积部CS3所蓄积的蓄积电荷量(第三电荷量)
另外，距离图像处理部4使用式(3)将式(2)所示的复变量CP表示为相位(2πfτA)的函数GF。此处的相位(2πfτA)通过相对于光脉冲PO的周期(1/f＝2To)的相位延迟来表示相对于光脉冲PO的照射定时的延迟时间τA。在式(3)中，以仅来自处于距离LA的被摄体OBA的反射光、即单路径被受光为前提。函数GF是“特征量”的一个例子。
CP＝DA×GF(2πfτA)…式(3)
其中，DA是来自处于距离LA的被摄体OBA的反射光的强度(常量)
τA是到处于距离LA的被摄体OBA为止光进行往返所需要的时间
τA＝2LA/c
c是光速
在式(3)中，只要能够求出与相位0(零)～2π对应的函数GF的值，则能够对距离图像摄像装置1能够受光的所有单路径进行规定。
因此，距离图像处理部4对于式(3)所示的复变量CP定义相位的复函数并如式(4)那样表示。Φ是将式(3)中的复变量CP的相位设为0(零)的情况下的相位变化量。
其中，DA是来自处于距离LA的被摄体OBA的反射光的强度
τA是到处于距离LA的被摄体OBA为止光进行往返所需要的时间
τA＝2LA/c
c是光速
是相位
在此，使用图6、图7对复函数的举动(与相位变化相伴随的复数变化)进行说明。图6、图7是表示一个实施方式的复函数的例子的图。图6的横轴是相位x，纵轴是函数GF(x)的值。图6中的实线表示复函数的实部的值，虚线表示复函数的虚部的值。
即，特征量是由将第一电荷量与第二电荷量的差分即第一变量作为实部、将第二电荷量与第三电荷量的差分即第二变量作为虚部的复数表现的值。
图7中示出将图6的函数GF(x)表示为复平面的例子。图7的横轴表示实轴，纵轴表示虚轴。图6以及图7的函数GF(x)乘以与信号强度相当的常量(DA)而得到的值成为复函数
复函数的变化根据光脉冲PO的形状(时间序列变化)而决定。图6中例如示出在光脉冲PO为矩形波的情况下的复函数中与相位变化相伴随的轨迹。
在相位x＝0(即，延迟时间Td＝0)时，在电荷蓄积部CS1蓄积与反射光相应的全部电荷，在电荷蓄积部CS2、CS3未蓄积与反射光相应的电荷。因此，函数GF(x＝0)的实部(Q1-Q2)成为最大值max，虚部(Q2-Q3)成为0(零)。Max是相当于与全部反射光相应的电荷量的信号值。在相位x＝π/2(即，延迟时间Td＝照射时间To)时，在电荷蓄积部CS2蓄积与反射光相应的全部电荷，在电荷蓄积部CS1、CS3未蓄积与反射光相应的电荷。因此，函数GF(x＝π/2)的实部(Q1-Q2)成为最小值(-max)，虚部(Q2-Q3)成为最大值max。在相位x＝π(即，延迟时间Td＝照射时间To×2)时，在电荷蓄积部CS3蓄积与反射光相应的全部电荷，在电荷蓄积部CS1、CS2未蓄积与反射光相应的电荷。因此，函数GF(x＝π)的实部(Q1-Q2)成为0(零)，虚部(Q2-Q3)成为最小值(-max)。
如图7所示那样，在复平面中，在相位x＝0时函数GF(x＝0)成为坐标(max，0)，在相位x＝π/2时函数GF(x＝π/2)成为坐标(-max，max)，在相位x＝π时函数GF(x＝π)成为坐标(0，-max)。
距离图像处理部4基于图6、图7所示那样的函数GF(x)的举动(与相位变化相伴随的复数变化)的趋势，判定像素321是对单路径进行了受光还是对多路径进行了受光。距离图像处理部4在通过测定而计算出的复函数的变化趋势与单路径中的函数GF(x)的变化趋势一致的情况下，判定为像素321对单路径进行了受光。另一方面，距离图像处理部4在通过测定而计算出的复函数的变化趋势与单路径中的函数GF(x)的变化趋势不一致的情况下，判定为像素321对多路径进行了受光。
在此，使用图8，对距离图像处理部4判定是对单路径进行了受光还是对多路径进行了受光的具体方法进行说明。如图8所示那样，距离图像处理部4使测定环境改变而进行多次(在该图的例子中为M次)测定。在此M为2以上的任意自然数。
距离图像处理部4首先在特定的测定环境中进行测定，计算式(3)中的复变量CP，并将计算出的复变量CP设为相位时的复函数CP(0)。
接下来，距离图像处理部4在与复函数CP(0)对应的测定环境中仅使相位变化后的测定环境中进行测定，并计算复函数
具体地说，在第一次测定中，将照射光脉冲PO的照射定时与在电荷蓄积部CS分别蓄积电荷的蓄积定时设为相同定时。更具体地说，与图4同样，在与光脉冲PO的照射开始的同时使电荷蓄积部CS1成为导通状态，以后依次使电荷蓄积部CS2、CS3成为导通状态，而向电荷蓄积部CS1～CS3蓄积电荷。在该图的例子中，与图4同样，由存在于测定空间的被摄体OB反射的反射光在从照射定时起延迟了延迟时间Td之后由像素321受光。距离图像处理部4在第一次测定中计算出复函数CP(0)。
在第二次测定中，使照射定时相对于蓄积定时延迟照射延迟时间Dtm2。更具体地说，在第二次测定中，在将使电荷蓄积部CS1～CS3成为导通状态的定时保持固定的状态下，使光脉冲PO的照射开始延迟照射延迟时间Dtm2。存在于测定空间的被摄体OB的位置相对于第一次测定无变更。因此，与第一次测定同样，由被摄体OB反射的反射光在从照射定时延迟了延迟时间Td之后由像素321受光。在第二次测定中，相对于蓄积定时使照射定时延迟照射延迟时间Dtm2，因此反射光在表观上从照射定时延迟(延迟时间Td+照射延迟时间Dtm2)后由像素321受光。距离图像处理部4基于第二次测定来计算复函数相位是相当于照射延迟时间Dtm2的相位(2πf×Dtm2)。f是光脉冲PO的照射频率(频度)。
在第(M-1)次测定中，使照射定时相对于蓄积定时延迟照射延迟时间Dtm3。更具体地说，在第(M-1)次测定中，在将使电荷蓄积部CS1～CS3成为导通状态的定时保持固定的状态下，使光脉冲PO的照射开始延迟照射延迟时间Dtm3。由此，反射光从照射定时起在表观上延迟(延迟时间Td+照射延迟时间Dtm3)后由像素321受光。距离图像处理部4基于第(M-1)次测定来计算复函数相位是相当于照射延迟时间Dtm3的相位(2πf×Dtm3)。
在第M次测定中，使照射定时相对于蓄积定时延迟照射延迟时间Dtm4。更具体地说，在将使电荷蓄积部CS1～CS3成为导通状态的定时保持固定的状态下，使光脉冲PO的照射开始延迟照射延迟时间Dtm4。由此，反射光从照射定时起在表观上延迟(延迟时间Td+照射延迟时间Dtm4)后由像素321受光。距离图像处理部4基于第M次测定来计算复函数相位是相当于照射延迟时间Dtm4的相位(2πf×Dtm4)。
在该一个实施方式中，距离图像处理部4如此一边变更测定定时一边进行多次测定，并计算每次测定的复函数CP。在该图的例子中，距离图像处理部4在第一次测定中进行设为照射延迟时间Dtm1(＝0)的测定，并计算复函数CP(0)。距离图像处理部4在第二次测定中进行设为照射延迟时间Dtm2的测定，并计算复函数距离图像处理部4在第(M-1)次测定中进行设为照射延迟时间Dtm3的测定，并计算复函数距离图像处理部4在第M次测定中进行设为照射延迟时间Dtm4的测定，并计算复函数
在此，使用图9～图12对距离图像处理部4判定是对单路径进行了受光还是对多路径进行了受光的具体方法进行说明。在图9～图12中，与图7同样地表示横轴为实轴、纵轴为虚轴的复平面。
例如图9所示那样，距离图像处理部4在复平面中对查找表LUT、实测点P1～P3进行绘制。查找表LUT是将像素321对单路径进行了受光的情况下的函数GF(x)与其相位x建立了对应的信息。查找表LUT例如预先测定，并存储于存储部(未图示)。实测点P1～P3是通过测定而计算出的复函数的值。距离图像处理部4为，如图9所示那样，在查找表LUT的变化趋势与实测点P1～P3的变化趋势一致的情况下，判定为在测定中像素321对单路径进行了受光。
如图10所示那样，距离图像处理部4在复平面中对查找表LUT、实测点P1#～P3#进行绘制。查找表LUT与图9中的查找表LUT相同。实测点P1#～P3#是通过与图9不同的测定空间中的测定而计算出的复函数的值。距离图像处理部4为，如图10所示那样，在查找表LUT的变化趋势与实测点P1#～P3#的变化趋势不一致的情况下，判定为在测定中像素321对多路径进行了受光。
在此，距离图像处理部4对查找表LUT的趋势与实测点P1～P3的趋势是否一致进行判定(一致判定)。在此，说明距离图像处理部4使用标度调整以及SD指标进行一致判定的方法。
(关于标度调整)
在此，距离图像处理部4根据需要进行标度调整。标度调整是以查找表LUT的标度(复数的绝对值)与实测点P的标度(复数的绝对值)成为相同值的方式进行调整的处理。如式(4)所示那样，复函数是将函数GF(x)与常量DA相乘而得到的值。常量DA是根据受光的反射光的光量而决定的恒定值。即，常量DA是根据光脉冲PO的照射时间、照射强度以及每1帧的分配次数等、在每次测定时决定的值。因此，实测点P与查找表LUT的对应点相比较，成为以原点为基准而扩大(或者缩小)了常量DA的坐标。
在这种情况下，距离图像处理部4为了容易判定查找表LUT的变化趋势与实测点P1～P3的变化趋势是否一致而进行标度调整。
如图11所示那样，距离图像处理部4提取实测点P1～P3中的特定的实测点P(例如实测点P1)。距离图像处理部4进行标度调整，以便使所提取的实测点以原点为基准成为常量D倍的、标度调整后的实测点Ps(例如实测点P1s)成为查找表LUT上的点。然后，距离图像处理部4对于剩余的实测点P(例如实测点P2、P3)也将乘以了相同乘值(常量D)而得到的值设为标度调整后的实测点Ps(例如实测点P2s、P3s)。
另外，距离图像处理部4在即使不进行标度调整、特定的实测点P(例如实测点P1)也会成为查找表LUT上的点的情况下，不需要标度调整。在该情况下，距离图像处理部4能够省略标度调整。
(关于使用了SD指标的一致判定)
在此，使用图12对使用了SD指标的一致判定进行说明。在图12的上侧示出复平面，横轴表示实轴，纵轴表示虚轴。图12中示出表示像素321对单路径进行了受光的情况下的函数GF(x)的查找表LUT以及查找表LUT上的点G(x0)、另外，图12中作为实测点而示出复函数CP(0)、CP(1)、CP(2)。
距离图像处理部4首先制作(定义)与通过测定获得的复函数CP(n)之间起点一致的函数GG(n)。n是表示测定编号的自然数。例如，在多次测定中的第一次测定中(n＝0)，在多次测定中的第二次测定中(n＝1)，……，在第NN次测定为(n＝NN-1)。
函数GG(x)是为了使起点与通过测定获得的复函数CP(n)的起点一致而使函数GF(x)的相位偏移了的函数。例如，距离图像处理部4如式(5)所示那样，将与通过第一次测定获得的复函数CP(n＝0)相当的相位量(x0)设为初始相位，制作使初始相位偏移了的函数GG(x)。式(5)中的x0表示初始相位，n表示测定编号，表示每次测定的相位偏移量。
[数1]
距离图像处理部4接下来如式(6)所示那样，制作(定义)表示复函数CP(n)与函数GG(x)的差分的函数SD(n)。式(6)中的n表示测定编号。
[数2]
SD(n)≡CP(n)-GG(n)···式(6)
然后，距离图像处理部4如式(7)所示那样，使用函数SD(n)来计算表示复函数CP(n)与函数GG(x)类似的程度的SD指标(指标值)。式(7)中的n表示测定编号，NN表示测定次数。另外，在此定义的SD指标为一个例子。SD指标当然能够将复函数CP(n)以及函数GG(n)在复平面上的离解度置换为单个实数，并根据函数GF(x)的函数形式等来调节函数形式。SD指标至少是表示复函数CP(n)以及函数GG(n)在复平面上的离解度的指标即可，也可以任意地定义。
[数3]
距离图像处理部4将计算出的SD指标与规定的阈值进行比较。距离图像处理部4在SD指标未超过规定的阈值的情况下，判定为像素321对单路径进行了受光。另一方面，距离图像处理部4在SD指标超过规定的阈值的情况下，判定为像素321对多路径进行了受光。
SD指标是多次测定各自的差分正规化值(difference normalized value)相加而得的和值，上述差分正规化值是对多次测定分别计算出的特征量即第一特征量与在查找表LUT中与多次测定分别对应的特征量即第二特征量的差分、用第二特征量的绝对值进行正规化而得的。
在此，对距离图像处理部4根据判定结果来计算测定距离的方法进行说明。此处的判定结果为对是对单路径进行了受光还是对多路径进行了受光进行判定的结果。
在对单路径进行了受光的情况下，距离图像处理部4使用式(8)来计算测定距离。式(8)中的n表示测定编号，x0表示初始相位，n表示测定编号，表示每次测定的相位偏移量。另外，式(8)中的内部距离可以根据像素321的构造等而任意地设定。在不特别考虑内部距离的情况下，设为内部距离＝0。
[数4]
其中
或者，距离图像处理部4也可以为，在判定为像素321对单路径进行了受光的情况下，基于式(1)来计算延迟时间Td，使用计算出的延迟时间Td来计算测定距离。
在对多路径进行了受光的情况下，距离图像处理部4如式(9)所示那样，将通过测定而得到的复函数CP表示为从多个(在此为两个)路径到来的反射光之和。式(9)中的DA是来自处于距离LA的被摄体OBA的反射光的强度。xA是到处于距离LA的被摄体OBA为止光进行往返所需要的相位。n为测定编号。表示每次测定的相位偏移量。DB是来自处于距离LB的被摄体OBB的反射光的强度。xB是到处于距离LB的被摄体OBB为止光往返所需要的相位。
[数5]
距离图像处理部4决定使式(10)所示的差分J成为最小{相位xA、xB、以及强度DA、DB}的组合。差分J相当于式(9)中的复函数CP(n)与函数G的差分的绝对值的平方和。距离图像处理部4例如通过应用最小二乘法等来决定{相位xA、xB、以及强度DA、DB}的组合。
[数6]
另外，在上述中，以使用查找表LUT来判定是对单路径进行了受光还是对多路径进行了受光的情况为例进行了说明。然而，并不限定于此。距离图像处理部4也可以代替查找表LUT而使用表示函数GF(x)的数式。
表示函数GF(x)的数式，例如是指根据相位的范围来定义的数式。
根据图7的例子，在关于相位x(0≤x≤2/π)的范围内，函数GF(x)被定义为斜率(-1/2)、截距(max/2)的一次函数。此外，在(2/π0＜x≤π)的范围内，函数GF(x)被定义为斜率(-2)、截距(-max)的一次函数。
另外，查找表LUT可以基于仅对单路径进行受光的环境下进行的实际的测定结果来制作，也可以基于模拟等的计算结果来制作。
另外，在上述中，例示出使用式(2)所示的复变量CP的情况进行了说明，但并不限定于此。复变量CP只要是至少使用对与反射光RL相应的电荷量进行蓄积的电荷蓄积部CS所蓄积的蓄积电荷量而计算出的变量即可。例如，可以是将实部与虚部更换后的复变量CP2＝(Q2-Q3)+j(Q1-Q2)，也可以是将实部与虚部的组合变更后的复变量CP3＝(Q1-Q3)+j(Q2-Q3)等。
另外，在上述中，在图8中，例示出将使电荷蓄积部CS成为导通状态的定时(蓄积定时)固定、使照射光脉冲PO的照射定时延迟的情况进行了说明，但并不限定于此。在多次测定中，只要使蓄积定时与照射定时至少相对地变化即可，例如当然可以将照射定时固定，使蓄积定时提前。另外，在上述中，以函数SD(n)由式(6)定义的情况为例进行了说明。然而，并不限定于此。函数SD(n)至少是表示复函数CP(n)以及函数GG(n)在复平面上的差分的函数即可，可以任意地定义。
在此，使用图13对一个实施方式的距离图像摄像装置1进行的距离图像摄像方法进行说明。
图13是表示一个实施方式的距离图像摄像装置1进行的处理的流程的流程图。
在该流程图的例子中，以进行NN(≥2)次测定为前提。另外，以NN次测定各自中的照射延迟时间Dtm被预先决定为前提。
(步骤S10)
距离图像处理部4设定照射延迟时间Dtm并进行测定。距离图像处理部4设定照射延迟时间Dtm，并在所设定的测定定时进行相当于1帧的分配次数的电荷蓄积，使电荷蓄积部CS分别蓄积电荷。
(步骤S11)
距离图像处理部4基于通过测定而得到的电荷蓄积部CS分别所蓄积的电荷量来计算复函数CP(n)。n为测定编号。
(步骤S12)
距离图像处理部4判定NN次测定是否已结束。在NN次测定已结束的情况下，前进到步骤S13，在NN次测定未结束的情况下，使测定次数加1(步骤S17)，返回步骤S10重复进行测定。
(步骤S13)
距离图像处理部4计算SD指标。距离图像处理部4根据需要对根据测定而得到的复函数CP(n)进行标度调整。距离图像处理部4使用标度调整后的复函数CP(n)，制作使起点一致的函数GG(n)。距离图像处理部4使用所制作的函数GG(n)与标度调整后的复函数CP(n)，制作差分的函数SD(n)。距离图像处理部4使用所制作的函数SD(n)与函数GG(n)来计算SD指标。
(步骤S14)
距离图像处理部4将SD指标与规定的阈值进行比较。距离图像处理部4在SD指标未超过阈值的情况下，向步骤S15前进。另一方面，距离图像处理部4在SD指标未超过阈值的情况下，向步骤S16前进。
(步骤S15)
距离图像处理部4判定为像素321对单路径进行了受光，计算与该单路径进行了往返的路径相当的距离，作为测定距离。
(步骤S16)
距离图像处理部4判定为像素321对多路径进行了受光，例如使用最小二乘法来计算与该多路径各自的路径相当的距离，作为测定距离。
如以上说明的那样，一个实施方式的距离图像摄像装置1具备光源部2、受光部3、以及距离图像处理部4。光源部2向测定空间E照射光脉冲PO。受光部3具有：像素，具备产生与所入射的光相应的电荷的光电转换元件PD、以及蓄积上述电荷的多个电荷蓄积部CS；以及垂直扫描电路323(像素驱动电路)，在与光脉冲PO的照射同步的规定的蓄积定时，进行向电荷蓄积部CS分别分配并蓄积电荷的单位蓄积处理。距离图像处理部4控制照射光脉冲PO的照射定时以及向电荷蓄积部CS分别分配并蓄积电荷的蓄积定时。距离图像处理部4基于电荷蓄积部CS分别所蓄积的电荷量，计算到存在于测定空间E的被摄体OB的距离。距离图像处理部4进行多次测定。在多次测定中，进行照射定时与蓄积定时之间的相对定时关系相互不同的测定。距离图像处理部4根据多次测定分别计算复函数CP(n)。n为测定编号。距离图像处理部4基于SD指标来判定是反射光RL以单路径被像素321进行了受光、还是反射光RL以多路径被像素321进行了受光。距离图像处理部4根据判定结果来计算到存在于测定空间E的被摄体OB的距离。
由此，一个实施方式的距离图像摄像装置1能够判定像素321是对单路径进行了受光还是对多路径进行了受光。复变量CP、复函数复函数CP(n)、函数GF(x)、函数GG(n)是“基于在多次测定中分别蓄积的电荷量的特征量”的一个例子。另外，SD指标是“特征量的趋势”的一个例子。
另外，在一个实施方式的距离图像摄像装置1中，也可以使用查找表LUT来进行判定。查找表LUT是反射光RL以单路径被像素321进行了受光的情况下的相位(相对的定时关系)与函数GF(x)(特征量)被建立对应而得到的表。距离图像处理部4在实测点P能够绘制为查找表LUT上的点的情况下，判定为反射光RL以单路径被像素321进行了受光。即，基于查找表LUT的趋势与多次测定各自的特征量的趋势之间的类似程度，来判定是反射光RL以单路径被像素321进行了受光、还是反射光RL以多路径被像素321进行了受光。由此，在一个实施方式的距离图像摄像装置1中，能够通过与查找表LUT进行趋势比较这样的容易的方法来进行判定。
另外，在一个实施方式的距离图像摄像装置1中，根据光脉冲PO的形状、光脉冲PO的照射时间To、电荷蓄积部CS分别蓄积电荷的蓄积时间Ta中的至少任一个测定条件，来制作查找表LUT。距离图像处理部4使用与测定条件对应的查找表LUT，判定是反射光RL以单路径被像素321进行了受光、还是反射光RL以多路径被像素321进行了受光。由此，在一个实施方式的距离图像摄像装置1中，能够根据测定条件来选择适当的查找表LUT，能够高精度地进行判定。
另外，在一个实施方式的距离图像摄像装置1中，特征量是使用3个以上的电荷蓄积部CS分别所蓄积的电荷中的、至少蓄积与反射光RL相应的电荷的电荷蓄积部CS所蓄积的电荷量而计算出的值。由此，在一个实施方式的距离图像摄像装置1中，能够根据反射光RL被受光的状况来判定是反射光RL以单路径被像素321进行了受光、还是反射光RL以多路径被像素321进行了受光。
另外，在一个实施方式的距离图像摄像装置1中，特征量为复变量CP。由此，在一个实施方式的距离图像摄像装置1中，通过将延迟时间Td视为相位的延迟而观察复变量CP的举动，由此能够判定是反射光RL以单路径被像素321进行了受光、还是反射光RL以多路径被像素321进行了受光。
另外，在一个实施方式的距离图像摄像装置1中也可以为，距离图像处理部4在判定为反射光RL以单路径被像素321进行了受光的情况下，基于多个测定定时的测定，根据最小二乘法来决定被摄体OB各自的距离。在该情况下，也能够对于单路径各自的路径决定最准确的路径，能够计算出与单路径分别对应的距离。另外，距离图像处理部4在判定为反射光RL以多路径被像素321进行了受光的情况下，通过应用最小二乘法来计算与多路径所含的光的路径分别对应的距离。由此，在一个实施方式的距离图像摄像装置1中，对于多路径各自的路径能够决定最正确的路径，能够计算与多路径分别对应的距离。
(一个实施方式的变形例)
在此，对一个实施方式的变形例进行说明。在本变形例中，与上述一个实施方式的不同点在于，根据多次测定中的最初的测定的结果，来决定剩余测定中的照射延迟时间Dtim。
使用图14，对本变形例的距离图像摄像装置1进行的处理的流程进行说明。图14是表示一个实施方式的变形例的距离图像摄像装置1进行的处理的流程的流程图。图14的流程图中的步骤S23～S30所示的处理与图13的流程图中的步骤S10～S17所示的处理相同，因此省略其说明。
(步骤S20)
距离图像处理部4在规定的照射延迟时间Dtim1进行最初的测定。照射延迟时间Dtim1是预先决定的值，例如为0(零)。
(步骤S21)
距离图像处理部4基于在最初的测定中电荷蓄积部CS分别蓄积的电荷量来计算暂定距离ZK。距离图像处理部4在最初的测定中视为像素321对单路径进行了受光而计算暂定距离ZK。距离图像处理部4使用与在判定为像素321对单路径进行了受光的情况下同样的方法，计算暂定距离ZK。
(步骤S22)
距离图像处理部4使用暂定距离ZK，决定在剩余测定中应用的照射延迟时间Dtim2～DtimNN。距离图像处理部4例如将照射延迟时间Dtim2～DtimNN决定为，能够高精度地计算出暂定距离ZK附近的距离。
例如，距离图像处理部4考虑与暂定距离ZK相当的相位为π/4附近的情况。在该情况下，如果图7的例子所示那样的函数GF(x)是在x＝2/π附近切换的函数，则在设为与相位x(0≤x≤π/2)相当的照射延迟时间Dtim的情况下，容易判定是单路径还是多路径。因此，距离图像处理部4以成为(0≤x≤π/2)的范围的方式决定在剩余测定中应用的照射延迟时间Dtim2～DtimNN。
例如，距离图像处理部4考虑与暂定距离ZK相当的相位为(π×3/4)附近的情况。在该情况下，如果图7的例子所示那样的函数GF(x)是在x＝2/π附近切换的函数，则在设为与相位x(π/2＜x≤π)相当的照射延迟时间Dtim的情况下，容易判定是单路径还是多路径。因此，距离图像处理部4以成为(π/2＜x≤π)的范围的方式决定在剩余测定中应用的照射延迟时间Dtim2～DtimNN。
例如，距离图像处理部4考虑与暂定距离ZK相当的相位为π/2附近的情况。在该情况下，如果图7的例子所示那样的函数GF(x)是在x＝π/2附近切换的函数，则在设为与相位x(0≤x≤π/2)或者(π/2＜x≤π)中的某一个相当的照射延迟时间Dtim的情况下，能够容易地判定是单路径还是多路径。因此，距离图像处理部4以成为(0≤x≤π/2)或者(π/2＜x≤π)中的某一个范围的方式决定在剩余测定中应用的照射延迟时间Dtim2～DtimNN。
另外，在该情况下，距离图像处理部4不仅可以决定照射延迟时间Dtim，还可以决定剩余测定中的分配次数。例如，距离图像处理部4在暂定距离ZK为大于规定距离的远距离的情况下，与暂定距离ZK为小于规定距离的近距离的情况相比较，使分配次数增加。一般来说，在来自存在于远距离的被摄体OB的反射光到来的情况下，到达距离图像摄像装置1的反射光RL的光量减少。因此，通过在远距离的情况下增加分配次数，由此使在一次测定中蓄积的电荷量增加。由此，即使在远距离的情况下，也能够高精度地计算测定距离。
如以上说明的那样，在一个实施方式的变形例的距离图像摄像装置1中，距离图像处理部4基于多次测定中的最初的测定来计算到被摄体OB的暂定距离ZK。距离图像处理部4基于暂定距离ZK来决定在多次测定中的剩余测定中使用的照射延迟时间Dtim(“延迟时间”的一个例子)。由此，在一个实施方式的变形例的距离图像摄像装置1中，能够根据存在于测定空间E的被摄体OB的状况来决定照射延迟时间Dtim，能够高精度地判定是单路径还是多路径。
另外，在一个实施方式的变形例的距离图像摄像装置1中也可以为，距离图像处理部4基于光脉冲PO前进暂定距离ZK所需要的时间(相位)以及函数GF(x)的趋势，来决定照射延迟时间Dtim。由此，在一个实施方式的变形例的距离图像摄像装置1中，能够基于函数GF(x)的趋势，例如对应于线性的范围(0≤x≤π/2)或者(π/2＜x≤π)中的某一个范围来决定照射延迟时间Dtim。由此，能够高精度地判定是单路径还是多路径。
另外，在一个实施方式的变形例的距离图像摄像装置1中，距离图像处理部4在暂定距离ZK为超过阈值的远距离的情况下，与暂定距离ZK为不超过阈值的短距离的情况相比较，使多次测定中的剩余测定中的分配次数(“蓄积次数”的一个例子)增加。由此，在一个实施方式的变形例的距离图像摄像装置1中，即使在远距离存在被摄体的情况下，也能够高精度地计算距离。
另外，在一个实施方式以及一个实施方式的变形例的距离图像摄像装置1中也可以为，在像素321对单路径进行了受光的情况下，将根据多次测定而计算出的测定距离的代表值决定为该测定距离的计算结果。由此，与根据一次测定而计算出的测定距离相比较，能够高精度地决定测定距离。
另外，在一个实施方式的变形例中也可以为，在距离图像处理部4使用最小二乘法来计算多路径各自的距离时，基于暂定距离ZK来缩小找到最佳解的组合的范围。例如，距离图像处理部4视为由存在于以暂定距离ZK为中心而位于暂定距离ZK±α的范围内的被摄体OB反射的反射光以多路径被受光，并以在该范围内找到最佳解的组合的方式进行运算。由此，与对能够取得的解的所有组合的误差进行计算的情况相比较，能够对处于限定范围的解的组合的误差进行计算，因此能够降低运算负荷。
另外，在上述一个实施方式中，例示像素321具备3个电荷蓄积部CS1～CS3的情况来进行了说明。然而，并不限定于此。也能够应用于像素321具备4个以上电荷蓄积部CS的情况。例如，在像素321具备4个电荷蓄积部CS的情况下，作为一个例子，能够如以下的式(11)、式(12)所示那样定义复变量CP。另外，并不限定于式(11)、式(12)所示的数式，也可以定义将对电荷蓄积部CS1～CS4分别蓄积的第一电荷量、第二电荷量、第三电荷量、第四电荷量进行加法或减法而计算出的值作为实部、虚部的复变量CP。
CP＝(Q1-Q3)+j(Q2-Q4)…式(11)
CP＝{(Q1+Q2)-(Q3+Q4)}+j{(Q2+Q3)-(Q4+Q1)}…式(12)
其中，j为虚数单位
Q1为电荷蓄积部CS1所蓄积的蓄积电荷量(第一电荷量)
Q2为电荷蓄积部CS2所蓄积的蓄积电荷量(第二电荷量)
Q3为电荷蓄积部CS3所蓄积的蓄积电荷量(第三电荷量)
Q4为电荷蓄积部CS4所蓄积的蓄积电荷量(第四电荷量)
在上述式(11)中，特征量是由将第一电荷蓄积部所蓄积的第一电荷量与第三电荷蓄积部所蓄积的第三电荷量的差分即第一变量作为实部、将第二电荷蓄积部所蓄积的第二电荷量与第四电荷蓄积部所蓄积的第四电荷量的差分即第二变量作为虚部的复数表示的值。
上述一个实施方式的距离图像摄像装置1、距离图像处理部4的全部或者一部分也可以由计算机实现。在该情况下，通过将用于实现该功能的程序记录于计算机可读取的记录介质，将该记录介质所记录的程序读入计算机系统并执行来实现。另外，此处所述的“计算机系统”是指包括OS、周边设备等硬件的系统。另外，“计算机可读取的记录介质”是指软盘、光磁盘、ROM、CD-ROM等可搬介质、内置于计算机系统的硬盘等存储装置。并且，“计算机可读取的记录介质”也可以包括经由因特网等网络、电话线路等通信线路发送程序的情况下的通信线那样在短时间的期间动态地保持程序的介质，该情况下的服务器、成为客户端的计算机系统内部的挥发性存储器那样在一定时间内保持程序的介质。此外，上述程序可以是用于实现上述功能的一部分的程序，并且也可以是能够通过与计算机系统中已经记录的程序的组合来实现上述功能的程序，还可以是使用FPGA等可编程逻辑器件来实现的程序。
以上，参照附图对本发明的一个实施方式以及变形例进行了详细叙述，但具体构成不限定于该一个实施方式以及变形例，也包括不脱离本发明的主旨的范围的设计等。
工业上的可利用性
根据本发明，能够判定像素是对单路径进行了受光还是对多路径进行了受光。另外，在判定为像素对单路径进行了受光的情况下，能够计算到一个反射体的距离，在判定为像素对多路径进行了受光的情况下，能够计算到多个反射体各自的距离。
符号的说明
1 距离图像摄像装置
2 光源部
3 受光部
32 距离图像传感器
321 像素
323 垂直扫描电路
4 距离图像处理部
41 定时控制部
42 距离运算部
43 测定控制部
CS 电荷蓄积部
PO 光脉冲

Claims (18)

1.一种距离图像摄像装置，具备：
光源部，向测定对象的空间即测定空间照射光脉冲；
受光部，其具有：像素，具备产生与所入射的光相应的电荷的光电转换元件以及蓄积电荷的3个以上的电荷蓄积部；以及像素驱动电路，在与上述光脉冲的照射同步的定时，向上述像素中的上述电荷蓄积部分别分配电荷并使其蓄积；以及
距离图像处理部，控制照射上述光脉冲的照射定时以及向上述电荷蓄积部分别分配电荷并使其蓄积的蓄积定时，基于上述电荷蓄积部分别蓄积的电荷量，计算到存在于上述测定空间的被摄体的距离，
上述距离图像处理部为，进行上述照射定时与上述蓄积定时的相对的定时关系相互不同的多次测定，提取基于在上述多次测定中分别蓄积的电荷量的特征量，基于上述提取的特征量的趋势，判定是上述光脉冲的反射光以单路径被上述像素进行了受光、还是上述光脉冲的反射光以多路径被上述像素进行了受光，根据上述判定的结果计算到存在于上述测定空间的被摄体的距离。
2.如权利要求1所述的距离图像摄像装置，其中，
上述距离图像处理部为，使用上述反射光以单路径被上述像素进行了受光的情况下的上述相对的定时关系与上述特征量被建立了对应的查找表，基于上述查找表的趋势与上述多次测定各自的上述特征量的趋势之间的类似程度，判定是上述反射光以单路径被上述像素进行了受光、还是上述光脉冲的上述反射光以多路径被上述像素进行了受光。
3.如权利要求2所述的距离图像摄像装置，其中，
上述查找表根据上述光脉冲的形状、上述光脉冲的照射时间、使上述电荷蓄积部分别蓄积电荷的蓄积时间中的至少任一个测定条件而制作，
上述距离图像处理部使用与上述测定条件对应的上述查找表，判定是上述反射光以单路径被上述像素进行了受光、还是上述反射光以多路径被上述像素进行了受光。
4.如权利要求1至3中任一项所述的距离图像摄像装置，其中，
上述特征量是使用对上述3个以上的电荷蓄积部分别蓄积的电荷中的至少与上述反射光相应的电荷进行蓄积的电荷蓄积部所蓄积的电荷量计算出的值。
5.如权利要求1至4中任一项所述的距离图像摄像装置，其中，
在上述像素设置有第一电荷蓄积部、第二电荷蓄积部以及第三电荷蓄积部，
上述距离图像处理部为，在向上述第一电荷蓄积部、上述第二电荷蓄积部、或者上述第三电荷蓄积部中的至少任一个蓄积与上述反射光相应的电荷的定时，按照上述第一电荷蓄积部、上述第二电荷蓄积部、上述第三电荷蓄积部的顺序蓄积电荷，
上述特征量是将上述第一电荷蓄积部、上述第二电荷蓄积部以及上述第三电荷蓄积部各自的蓄积电荷量作为变量的复数。
6.如权利要求5所述的距离图像摄像装置，其中，
上述特征量是由将上述第一电荷蓄积部所蓄积的第一电荷量与上述第二电荷蓄积部所蓄积的第二电荷量的差分即第一变量作为实部、将上述第二电荷蓄积部所蓄积的第二电荷量与上述第三电荷蓄积部所蓄积的第三电荷量的差分即第二变量作为虚部的复数表示的值。
7.如权利要求1至4中任一项所述的距离图像摄像装置，其中，
在上述像素设置有第一电荷蓄积部、第二电荷蓄积部、第三电荷蓄积部以及第四电荷蓄积部，
上述距离图像处理部在向上述第一电荷蓄积部、上述第二电荷蓄积部、上述第三电荷蓄积部、或者上述第四电荷蓄积部中的至少任一个蓄积与上述反射光相应的电荷的定时，按照上述第一电荷蓄积部、上述第二电荷蓄积部、上述第三电荷蓄积部、上述第四电荷蓄积部的顺序蓄积电荷，
上述特征量是将上述第一电荷蓄积部、上述第二电荷蓄积部、上述第三电荷蓄积部以及上述第四电荷蓄积部各自的蓄积电荷量作为变量的复数。
8.如权利要求7所述的距离图像摄像装置，其中，
上述特征量是由将上述第一电荷蓄积部所蓄积的第一电荷量与上述第三电荷蓄积部所蓄积的第三电荷量的差分即第一变量作为实部、将上述第二电荷蓄积部所蓄积的第二电荷量与上述第四电荷蓄积部所蓄积的第四电荷量的差分即第二变量作为虚部的复数表示的值。
9.如权利要求1至8中任一项所述的距离图像摄像装置，其中，
在上述多次测定中控制为，使上述照射定时相对于上述蓄积定时相对地延迟的延迟时间成为相互不同的时间。
10.如权利要求1至9中任一项所述的距离图像摄像装置，其中，
上述距离图像处理部为，使用在上述反射光以单路径被上述像素进行了受光的情况下的上述相对的定时关系与上述特征量被建立了对应的查找表，计算表示上述查找表的趋势与上述多次测定各自的上述特征量的趋势之间的类似程度的指标值，在上述指标值不超过阈值的情况下判定为上述反射光以单路径被上述像素进行了受光，在上述指标值超过上述阈值的情况下判定为上述反射光以多路径被上述像素进行了受光，
上述指标值是上述多次测定各自的差分正规化值相加而得的和值，上述差分正规化值是对上述多次测定分别计算出的上述特征量即第一特征量与在上述查找表中与上述多次测定分别对应的上述特征量即第二特征量的差分、用上述第二特征量的绝对值进行了正规化而得的。
11.如权利要求1至10中任一项所述的距离图像摄像装置，其中，
上述距离图像处理部为，在判定为上述反射光以多路径被上述像素进行了受光的情况下，使用最小二乘法来计算与多路径所包含的光的路径分别对应的距离。
12.如权利要求1至11中任一项所述的距离图像摄像装置，其中，
还具备将由上述光电转换元件产生的电荷排出的电荷排出部，
上述距离图像处理部进行控制而使得：在1帧期间中，重复多次在与上述光脉冲的照射同步的定时向上述像素中的上述电荷蓄积部分别分配电荷并使其蓄积的单位蓄积处理，由此向上述电荷蓄积部分别蓄积电荷，在上述单位蓄积处理中在与向上述电荷蓄积部分别蓄积电荷的时间区间不同的时间区间，通过上述电荷排出部排出由上述光电转换元件产生的电荷。
13.如权利要求1至12中任一项所述的距离图像摄像装置，其中，
上述距离图像处理部为，基于上述多次测定中的最初的测定来计算到上述被摄体的暂定距离，基于上述暂定距离来决定在上述多次测定中的剩余测定中使用的延迟时间，
上述延迟时间是使上述照射定时相对于上述蓄积定时相对地延迟的时间。
14.如权利要求13所述的距离图像摄像装置，其中，
上述距离图像处理部基于上述光脉冲前进上述暂定距离所需要的时间以及上述特征量的趋势来决定上述延迟时间。
15.如权利要求13或14所述的距离图像摄像装置，其中，
上述距离图像处理部为，在上述暂定距离为超过阈值的远距离的情况下，与上述暂定距离为未超过上述阈值的短距离的情况相比较，使上述多次测定中的剩余测定中的向上述电荷蓄积部分别分配电荷并使其蓄积的蓄积次数增加。
16.如权利要求1至15中任一项所述的距离图像摄像装置，其中，
上述距离图像处理部为，在判定为上述反射光以单路径被上述像素进行了受光的情况下，基于上述多个测定定时的测定来分别计算到上述被摄体的暂定距离，并将计算出的暂定距离各自的代表值决定为到上述被摄体的距离。
17.如权利要求1至15中任一项所述的距离图像摄像装置，其中，
上述距离图像处理部为，在判定为上述反射光以单路径被上述像素进行了受光的情况下，基于上述多个测定定时的测定且基于最小二乘法来分别决定到上述被摄体的暂定距离，
上述距离图像处理部为，在判定为上述反射光以多路径被上述像素进行了受光的情况下，基于上述多个测定定时的测定且基于最小二乘法来决定上述被摄体各自的距离。
18.一种距离图像摄像方法，由距离图像摄像装置进行，该距离图像摄像装置具备：光源部，向测定对象的空间即测定空间照射光脉冲；受光部，其具有：像素，具备产生与所入射的光相应的电荷的光电转换元件以及蓄积电荷的3个以上的电荷蓄积部；以及像素驱动电路，在与上述光脉冲的照射同步的定时，向上述像素中的上述电荷蓄积部分别分配电荷并使其蓄积；以及距离图像处理部，控制照射上述光脉冲的照射定时以及向上述电荷蓄积部分别分配电荷并使其蓄积的蓄积定时，基于上述电荷蓄积部分别蓄积的电荷量，计算到存在于上述测定空间的被摄体的距离，在上述距离图像摄像方法中，
上述距离图像处理部为，
进行上述照射定时与上述蓄积定时的相对的定时关系相互不同的多次测定，
提取基于在上述多次测定中分别蓄积的电荷量的特征量，
基于上述提取的特征量的趋势，判定是上述光脉冲的反射光以单路径被上述像素进行了受光、还是上述光脉冲的反射光以多路径被上述像素进行了受光，
根据上述判定的结果计算到存在于上述测定空间的被摄体的距离。
CN202280009941.4A 2021-01-25 2022-01-25 距离图像摄像装置以及距离图像摄像方法 Pending CN116710803A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021009673A JP2022113429A (ja) 2021-01-25 2021-01-25 距離画像撮像装置、及び距離画像撮像方法
JP2021-009673 2021-01-25
PCT/JP2022/002581 WO2022158603A1 (ja) 2021-01-25 2022-01-25 距離画像撮像装置、及び距離画像撮像方法

Publications (1)

Publication Number Publication Date
CN116710803A true CN116710803A (zh) 2023-09-05

Family

ID=82548741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280009941.4A Pending CN116710803A (zh) 2021-01-25 2022-01-25 距离图像摄像装置以及距离图像摄像方法

Country Status (5)

Country Link
US (1) US20230367018A1 (zh)
EP (1) EP4283254A4 (zh)
JP (1) JP2022113429A (zh)
CN (1) CN116710803A (zh)
WO (1) WO2022158603A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024014547A1 (ja) * 2022-07-15 2024-01-18 Ｔｏｐｐａｎホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017138032A1 (en) * 2016-02-08 2017-08-17 Denso Corporation Time-of-flight distance measuring device and method for detecting multipath error
EP3418772A4 (en) * 2016-02-17 2019-03-13 Panasonic Intellectual Property Management Co., Ltd. DISTANCE MEASURING DEVICE
US20180278910A1 (en) * 2017-03-22 2018-09-27 Microsoft Technology Licensing, Llc Correction of multipath interference in time of flight camera depth imaging measurements
WO2020121705A1 (ja) * 2018-12-14 2020-06-18 パナソニックセミコンダクターソリューションズ株式会社 撮像装置
US10914817B2 (en) * 2019-03-29 2021-02-09 Rockwell Automation Technologies, Inc. Multipath interference error correction in a time of flight sensor
US11451733B2 (en) * 2019-05-31 2022-09-20 Artilux, Inc. Optoelectronic device for reducing signal reset number and frame time
JP7468999B2 (ja) * 2019-05-31 2024-04-16 ヌヴォトンテクノロジージャパン株式会社 マルチパス検出装置およびマルチパス検出方法
JP6723417B1 (ja) 2019-06-28 2020-07-15 株式会社Ｆｉｖｅ ｆｏｒ 仮想現実システム、プログラム、およびコンピュータ読み取り可能な記憶媒体

Also Published As

Publication number Publication date
WO2022158603A1 (ja) 2022-07-28
JP2022113429A (ja) 2022-08-04
US20230367018A1 (en) 2023-11-16
EP4283254A1 (en) 2023-11-29
EP4283254A4 (en) 2024-07-24

Similar Documents

Publication Publication Date Title
CN114175618B (zh) 距离图像摄像装置以及距离图像摄像方法
EP3574344B1 (en) Spad detector having modulated sensitivity
US8767189B2 (en) Solid state imaging device and distance image measurement device
CN113272684A (zh) 具有信号相关有效读出率的高动态范围直接飞行时间传感器
JP5107440B2 (ja) 三次元アクティブ画像処理デバイス
JP2021513087A (ja) 高分解能長距離フラッシュｌｉｄａｒ用の方法及びシステム
JP6709335B2 (ja) 光センサ、電子機器、演算装置、及び光センサと検知対象物との距離を測定する方法
IL269455B2 (en) Time of flight sensor
CN116710803A (zh) 距离图像摄像装置以及距离图像摄像方法
WO2022154073A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
WO2024014547A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2024011621A (ja) 距離画像撮像装置、及び距離画像撮像方法
WO2023234253A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
WO2023033170A1 (ja) 距離画像撮像装置及び距離画像撮像方法
US20230333218A1 (en) Range imaging apparatus and range imaging method
US20240192335A1 (en) Distance image capturing device and distance image capturing method
JP2023147558A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2023180900A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2023172742A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2022112388A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2024078837A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2022162392A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2022191793A (ja) 距離画像撮像装置及び距離画像撮像方法
CN116868087A (zh) 距离图像摄像装置及距离图像摄像方法
CN116745645A (zh) 距离图像摄像装置以及距离图像摄像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination