CN111033315A - 距离图像测定装置以及距离图像测定方法 - Google Patents

距离图像测定装置以及距离图像测定方法 Download PDF

Info

Publication number
CN111033315A
CN111033315A CN201880050969.6A CN201880050969A CN111033315A CN 111033315 A CN111033315 A CN 111033315A CN 201880050969 A CN201880050969 A CN 201880050969A CN 111033315 A CN111033315 A CN 111033315A
Authority
CN
China
Prior art keywords
distance
distance calculation
value
charge
mth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880050969.6A
Other languages
English (en)
Other versions
CN111033315B (zh
Inventor
川人祥二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shizuoka University NUC
Original Assignee
Shizuoka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shizuoka University NUC filed Critical Shizuoka University NUC
Publication of CN111033315A publication Critical patent/CN111033315A/zh
Application granted granted Critical
Publication of CN111033315B publication Critical patent/CN111033315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements

Abstract

本发明的距离图像传感器(10)具备：光源(11)；控制光源(11)的光源控制单元(31)；像素电路(13)，其具有光电转换区域(21)、电荷读出区域(221～223)、以及控制电极(241～243)；电荷转发控制单元(32)，对控制电极(241～243)依次施加控制脉冲；距离计算单元，读出电荷读出区域(221～223)的电压作为检测信号(S1～S3)，且基于检测信号(S1～S3)反复计算距离，距离计算单元计算从去除了检测信号(S1～S3)中的背景光的脉冲光产生的电荷的信号成分的合计值(SA)，在合计值(SA)超过第一阈值(Th1)的情况下，使用规定的计算式由检测信号(S1～S3)计算距离，在合计值(SA)未超过第一阈值(Th1)的情况下，使距离的计算无效。

Description

距离图像测定装置以及距离图像测定方法
技术领域
本发明的一个方面涉及一种针对每个像素生成包含距离信息的距离图像的距离图像测定装置以及距离图像测定方法。
背景技术
一直以来，使用利用光的飞行时间来生成包含距离信息的图像信号的传感器装置(例如，参照下述专利文献1)。该传感器在排列在时间轴上的第一至第五帧中，将第一至第五的脉冲的列作为照射脉冲向对象物照射，在像素阵列中生成包含对象物的距离信息的图像信号。通过这样的结构，能够在不降低距离分辨率的情况下扩大距离测量范围。
现有技术文献
专利文献
专利文献1：日本特开2010-32425号公报
发明内容
发明所要解决的问题
然而，在上述的现有的传感器装置中，在对象物位于可测定范围外的情况下，有时会生成包含假的距离信息的图像信号。即，难以判断对同一个对象物进行多次计算的距离信息之中哪些是真的信息，因此，其结果有时会降低图像信号所包含的距离信息的精度。
本发明的一个方面是鉴于上述问题而完成的，其目的在于，提供一种距离图像测定装置以及距离图像测定方法，无论对象物的位置如何，都能够生成高精度的图像信号。
解决问题的技术方案
为了解决上述问题，本发明的一个方式的距离图像测定装置，
包括：
光源，产生脉冲光；
光源控制单元，以在1帧期间内反复产生具有第一持续时间的脉冲光的方式控制光源；
像素电路部，其具有：光电转换区域，将光转换为电荷；第一至第M(M是三以上的整数)电荷读出区域，其接近光电转换区域且互相分离地设置；以及第一至第M控制电极，其与光电转换区域和第一至第M电荷读出区域分别对应地设置，用于施加在光电转换区域与第一至第M电荷读出区域之间的用于电荷转发的第一至第M控制脉冲；
电荷转发控制单元，其与光源控制单元的脉冲光的产生对应，在按照第一持续时间以上的第二持续时间对第一控制电极施加第一控制脉冲之后，按照第二持续时间对第二至第M控制电极依次施加第二至第M控制脉冲；
电压检测单元，在电荷转发控制单元施加第一至第M控制脉冲后，读出像素电路部的第一至第M电荷读出区域的电压作为第一至第M检测信号；以及
距离计算单元，基于第一至第M检测信号反复计算距离，
距离计算单元基于第一至第M检测信号来计算从去除了第一至第M检测信号中的背景光的脉冲光产生的电荷的信号成分的合计值，在信号成分的合计值超过规定的第一阈值的情况下，使用规定的计算式根据第一至第M检测信号来计算距离，在信号成分的合计值未超过第一阈值的情况下，使距离的计算无效。
或者，本发明的另一个方式的距离图像测定方法，
包括：
光源控制步骤，光源控制单元以在1帧期间内反复产生具有第一持续时间的脉冲光的方式控制光源；
电荷转发控制步骤，使用像素电路部，电荷转发控制单元与光源控制单元的脉冲光的产生对应，在按照第一持续时间以上的第二持续时间对第一控制电极施加用于控制电荷的转发的第一控制脉冲之后，按照第二持续时间的期间对第二至第M控制电极依次施加用于控制电荷的转发的第二至第M控制脉冲，该像素电路部具有：将光转换为电荷的光电转换区域；接近光电转换区域且互相分离地设置的第一至第M(M是3以上的整数)的电荷读出区域；以及与光电转换区域和第一至第M电荷读出区域对应地设置的第一至第M控制电极；
电压检测步骤，电荷检测单元在电荷转发控制单元施加第一至第M控制脉冲后，读出像素电路部的第一至第M电荷读出区域的电压作为第一至第M检测信号；以及
距离计算步骤，距离计算单元基于第一至第M检测信号反复计算，
在距离计算步骤中，基于第一至第M检测信号来计算从去除了第一至第M检测信号中的背景光的脉冲光产生的电荷的信号成分的合计值，在信号成分的合计值超过规定的第一阈值的情况下，使用规定的计算式根据第一至第M检测信号来计算距离，在信号成分的合计值未超过第一阈值的情况下，使距离的计算无效。
根据上述方式的距离图像测定装置或者距离图像测定方法，在1帧期间内从光源反复产生脉冲光，与脉冲光的产生对应地依次设定脉冲光的持续时间以上的第二持续时间的时间窗口，在该时间窗口从像素电路部的光电转换区域向第一至第M电荷读出区域依次转发电荷。进而，从像素电路部的第一至第M电荷读出区域读出第一至第M检测信号，基于这些来计算从去除了第一至第M检测信号中的背景光的脉冲光产生的电荷的信号成分的合计值，基于该信号成分的合计值与第一阈值的比较结果，判断使用第一至第M检测信号的距离计算的有效/无效。其结果，通过使用该判断结果，能够生成反映了有效的距离计算的结果的距离图像，无论对象物的位置如何，都能够生成高精度的图像信号。
发明效果
根据本发明的一个方面，无论对象物的位置如何，都能够生成高精度的图像信号。
附图说明
图1是表示本发明的第一实施方式的距离图像传感器10的概略结构的框图。
图2是用于说明图1的距离图像传感器10的距离计算的原理的时序图。
图3是表示通过图1的距离图像传感器10进行处理的各种信号的时序图、以及通过距离图像传感器10计算的各种值相对于延迟时间TD的变化的曲线图。
图4是表示按照图1的距离图像传感器10的另一种计算顺序进行处理的各种信号的时序图、以及在距离图像传感器10的另一种的计算顺序中计算的各种值相对于延迟时间TD的变化的曲线图。
图5是表示通过图1的距离图像传感器10与入射脉冲光LR的延迟时间TD对应地检测出的第一至第三检测信号S1～S3以及这些信号的合计值STOTAL的强度的曲线图。
图6是表示针对对象物S的每个实测距离通过图1的距离图像传感器10而测定的距离和距离分辨率的曲线图。
图7是表示针对对象物S的每个实测距离通过图1的距离图像传感器10而测定的距离和距离分辨率的曲线图。
图8是表示通过图1的距离图像传感器10而执行的距离计算中的距离分辨率的特性的曲线图。
图9是表示将通过图1的距离图像传感器10而测定的距离与实测距离进行比较的曲线图。
图10是表示本发明的第二实施方式的距离图像传感器10A的概略结构的框图。
图11是用于说明图10的距离图像传感器10A的距离计算的原理的时序图。
图12是表示通过图10的距离图像传感器10A进行处理的各种信号的时序图、以及通过距离图像传感器10A计算的各种值相对于延迟时间TD的变化的曲线图。
图13是表示通过图10的距离图像传感器10A进行处理的各种信号的时序图、以及通过距离图像传感器10A计算的各种值相对于延迟时间TD的变化的曲线图。
图14(a)是表示采用4分接4区方式的距离计算进行处理的各种信号的时序图，图14(b)是表示距离计算的对象物S的存在区域的图。
图15是采用4分接4区方式的距离计算进行处理的各种信号的时序图。
图16是采用4分接4区方式的距离计算进行处理的各种信号的时序图。
图17是表示将通过图10的距离图像传感器10A算出的距离信息的距离分辨率与理论值进行比较的曲线图。
图18是表示通过图10的距离图像传感器10A与入射脉冲光LR的延迟时间TD对应地检测出的第一至第四检测信号S1～S4以及这些信号的合计值STOTAL的强度的曲线图。
图19是表示通过图10的距离图像传感器10A针对对象物S的每个实测距离而测定的距离的曲线图。
图20是表示通过图10的距离图像传感器10A测定的距离的分辨率的曲线图。
图21是采用本发明的变形例的距离计算步骤进行处理的各种信号的时序图。
图22是表示在本发明的变形例的距离计算步骤中计算的各种值相对于延迟时间TD的变化的曲线图。
图23是表示在本发明的变形例的距离计算步骤中计算的各种值相对于延迟时间TD的变化的曲线图。
图24是本发明的变形例的距离计算步骤进行处理的各种信号的时序图。
图25是表示在本发明的变形例的距离计算步骤中计算的各种值相对于延迟时间TD的变化的曲线图。
图26是表示在本发明的变形例的距离计算步骤中计算的各种值相对于延迟时间TD的变化的曲线图。
具体实施方式
以下，参照附图对本发明的距离图像测定装置的优选的实施方式详细地进行说明。需要说明的是，在附图的说明中，对相同或者相当部分标记相同的附图标记，并省略反复的说明。
[第一实施方式]
首先，参照图1对本发明的距离图像测定装置的第一实施方式的距离图像传感器10的功能以及结构进行说明。如图1所示的距离图像传感器10是利用飞行时间法针对每个像素生成包含距离信息的距离图像的装置，其具备：光源11、运算电路12、以及多个像素电路(像素电路部)13。光源11是为了进行基于飞行时间(TOF：Time Of Flight)方式的距离测量而产生向对象物S照射的脉冲光LP的装置。光源11由例如发光二极管或激光二极管等的半导体发光元件和驱动该半导体发光元件的驱动电路构成。作为光源11，可以使用产生近红外区域、可见光区域等的波长区域的光的元件。而且，距离图像传感器10具备多个像素电路13。多个像素电路13在二维方向(例如，列方向和行方向)上呈二维阵列状地排列而构成影像传感器，通过对由对象物S反射脉冲光LP而生成的入射脉冲光LR进行光电转换从而生成检测信号。除此以外，距离图像传感器10还具备运算电路12。运算电路12使用由多个像素电路13生成的检测信号，针对每个像素运算与对象物S相关的距离信息，生成并输出包含反映了每个像素的距离信息的二维图像信息的距离图像。运算电路12可以由包括CPU，RAM、ROM、以及输入输出装置等的高速微型计算机等的专用集成电路构成，也可以由个人计算机等的通用计算机构成。
以下，对像素电路13以及运算电路12的结构详细地进行说明。
首先，对像素电路13的结构进行说明。像素电路13由半导体元件构成，包括：具有将入射脉冲光LR转换为电荷的功能的光电转换区域21；接近光电转换区域21且互相分离地设置的第一至第三电荷读出区域221～223以及电荷排出区域23；与第一至第三的电荷读出区域221～223以及电荷排出区域23分别对应地设置的、用于施加在光电转换区域21与各自区域之间的用于电荷转发的控制脉冲的第一至第三的控制电极241～243以及控制电极25；以及用于分别从第一至第三的电荷读出区域221～223读出检测信号的电压检测单元261～263。电压检测单元261～263例如是包含源输出放大器的放大器，通过来自运算电路12的控制，选择性地检测并放大以各个电荷读出区域221～223的基准电位为基准的电压，并将放大后的电压作为第一至第三的检测信号输出至运算电路12。
像素电路13例如形成于硅基板等的p型半导体基板上。即，光电转换区域21设置在依次形成于p型半导体基板上的由p型半导体构成的活性区域形成层、n型的表面埋入区域、p型的固定层、以及由绝缘膜构成的像素形成区域的中央部。而且，以接近光电转换区域21的方式在互相分离的位置形成有杂质浓度高于活性区域形成层的n型的电荷读出区域221～223以及电荷排出区域23，从绝缘膜上的光电转换区域21至电荷读出区域221～223以及电荷排出区域23的电荷移动路径上分别设置有控制电极241～243、25。在此，控制电极241～243、25可以分别设置于电荷移动路径上，也可以以从两侧夹持电荷移动路径的方式分离地设置于多个电极部。
在上述结构的像素电路13中，从后述的运算电路12对控制电极241～243、25施加相位彼此不同的控制脉冲。由此，通过使表面埋入区域的空乏化电位依次变化，从而依次形成向电荷移动路径的任一个输送电荷的电位梯度，使在光电转换区域21的表面埋入区域产生的多数载体(电荷)向电荷读出区域221～223以及电荷排出区域23中的任一个移动。
接着，对运算电路12的结构进行说明。运算电路12作为功能性的结构元件，构成为包括：光源控制单元31、电荷转发控制单元32、距离数据有效性判定信号生成单元33、距离数据有效性判定单元34、无效像素识别值生成单元35、距离计算参照信号生成单元36、距离计算参照信号选择单元37、以及距离图像生成单元38。距离数据有效性判定信号生成单元33、距离数据有效性判定单元34、无效像素识别值生成单元35、距离计算参照信号生成单元36、距离计算参照信号选择单元37、以及距离图像生成单元38构成本实施方式的距离计算单元。
运算电路12的光源控制单元31用于控制基于光源11的脉冲光LP的发光定时、脉冲光LP的强度、以及脉冲光LP的脉冲宽度。具体而言，以预先设定的距离计算的反复期间即1帧期间内反复产生持续时间T0的脉冲光LP的方式进行控制。电荷转发控制单元32具有对控制电极241～243、25分别施加第一至第三的控制脉冲G1～G3以及控制脉冲GD的功能。即，电荷转发控制单元32与1帧期间内的脉冲光LP的各自的产生定时对应，按照持续时间T0以上即持续时间T1对控制电极241～243依次地施加第一至第三的控制脉冲G1～G3。在本实施方式中，持续时间T1被设定为与持续时间T0相等。另外，电荷转发控制单元32在第一至第三的控制脉冲G1～G3的一系列的施加定时之前，向控制电极25施加用于使蓄积于光电转换区域21的电荷向电荷排出区域23排出的控制脉冲GD。
需要说明的是，使用脉冲光LP的飞行时间的距离计算的分辨率15cm相当于飞行时间1ns，为了降低该分辨率，需要具有ps级别的时间精度的控制单元作为基准。因此，电荷转发控制单元32和光源控制单元31需要考虑与像素电路13一体的布线电容等的设计，因此，优选形成于与像素电路13一体的半导体上。需要说明的是，“一体的半导体上”也包括使用SOI(Silicon On Insulator)技术、TSV(Through Silicon Via)技术而层叠的多个半导体层中的不同的半导体上。具体而言，电荷转发控制单元32、电荷转发控制单元32与控制电极241～243、25之间的电路、以及电荷转发控制单元32与光源控制单元31之间的电路的一部分也可以形成于与像素电路13相同的半导体上或者与像素电路13一起层叠的半导体层上。
运算电路12的距离计算单元与脉冲光LP的发光定时对应地反复执行每个像素电路13的距离的计算，并反复生成包含其结果得到距离信息的距离图像。构成距离计算单元的距离数据有效性判定信号生成单元33基于与脉冲光LP的发光定时对应地从像素电路13输出的第一至第三的检测信号S1～S3，生成从去除了第一至第三的检测信号S1～S3中的背景光的信号成分的入射脉冲光LR产生的电荷的信号成分的合计值，作为距离数据有效性判定信号SA。该距离数据有效性判定信号SA是表示第一至第三的检测信号S1～S3是否较强地反映了入射脉冲光LR的信号，是用于判定基于第一至第三的检测信号S1～S3的距离的计算是否有效的信号。距离数据有效性判定单元34基于距离数据有效性判定信号SA来判断基于第一至第三的检测信号S1～S3的距离的计算是否有效。具体而言，距离数据有效性判定单元34将距离数据有效性判定信号SA与规定的阈值(第一阈值)Th1进行比较，在距离数据有效性判定信号SA超过阈值Th1的情况下判定距离的计算有效，在距离数据有效性判定信号SA为阈值Th1以下的情况下判定距离的计算无效。无效像素识别值生成单元35基于距离数据有效性判定单元34的判定结果，针对与像素电路13对应的每个像素生成表示距离计算是否无效的识别值。
距离计算单元中的距离计算参照信号生成单元36基于与脉冲光LP的发光定时对应地从像素电路13输出的第一至第三的检测信号S1～S3生成作为距离的计算基础的距离计算参照信号XR。具体而言，距离计算参照信号生成单元36通过计算两个检测信号S1、S3之差与距离数据有效性判定信号SA的比，从而生成距离计算参照信号XR。距离计算参照信号选择单元37基于距离计算参照信号XR来判定对象物S的位置是否为可测定范围，在可测定的范围的情况下，将距离计算参照信号XR作为有效的值向距离图像生成单元38输出。例如，距离计算参照信号选择单元37将距离计算参照信号XR的值与规定的阈值(第二阈值)Th2进行比较，根据该比较结果来判断距离计算参照信号XR的有效/无效。距离图像生成单元38在判定距离计算为有效的情况下，关于各像素电路13，参照由距离计算参照信号选择单元37选择的距离计算参照信号XR来算出距离信息。而且，距离图像生成单元38生成包含与各像素电路13对应的距离信息的距离图像并向外部装置输出。作为输出目的地的外部装置，可举例：例如，显示装置、通信界面装置等的输出设备。此时，距离图像生成单元38对于表示为无效的识别值所生成的像素或者判定为距离计算参照信号XR处于可测定范围外的像素，可以在距离图像中埋入无效值。
图2是用于说明距离图像传感器10的距离计算的原理的时序图。在图2中示出了在通过距离图像传感器10控制的各种信号的定时以及像素电路13的各区域内电荷蓄积的定时，从上依次表示脉冲光LP的发光定时、第一至第三的控制脉冲G1～G3以及控制脉冲GD的施加定时、第一至第三的电荷读出区域221～223中的电荷蓄积定时。这样，与脉冲光LP的持续时间T0的发光定时对应地以第一至第三的控制脉冲G1～G3互相不重叠的方式持续地按照持续时间T0施加。这样一来，通过对入射脉冲光LR进行光电转换从而蓄积于光电转换区域21的电荷以与相对于入射脉冲光LR的脉冲光LP的延迟时间TD对应的比率，分配到两个电荷读出区域222、223。这里，通过设定脉冲光LP的持续时间T0的发光定时与第一控制脉冲G1的施加定时的关系，从而在电荷读出区域221中，仅输送在由控制脉冲G1规定的时间窗口下由背景光以及暗电流等的噪声为起因的电荷量NB的电荷。对此，在电荷读出区域222中，在由控制脉冲G2规定的时间窗口下，输送对电荷量NB加上与延迟时间TD对应地分配的电荷量Nsm1的电荷。另一方面，在电荷读出区域223中，在由控制脉冲G3规定的时间窗口下，输送对电荷量NB加上与延迟时间TD对应地分配的电荷量Nsm2的电荷。利用这样的现象，在距离图像传感器10的运算电路12中，根据脉冲光LP的各自的发光定时，计算去除了电荷量NB的电荷量Nsm1与去除了电荷量NB的电荷量Nsm2的比率，从而能够计算与延迟时间TD对应的对象物S的距离。
接着，对基于距离图像传感器10的距离计算的步骤进行详细地说明，并且，对本实施方式的距离图像测定方法(以下，也称为“3分接1区方式”。)进行说明。图3是表示通过距离图像传感器10进行处理的各种信号的时序图、以及计算出的各种值相对于延迟时间TD的变化的曲线图。在图3中，(a)部至(d)部分别示出控制脉冲G1～G3以及脉冲光LP的定时，(e)部至(j)部分别与延迟时间TD对应地示出第一至第三检测信号S1～S3的值、差分值S3－1的值、距离数据有效性判定信号SA的值、以及距离计算参照信号XR的值，(k)部示出延迟时间TD中的数据有效范围，(l)部示出延迟时间TD中的可测定范围。在此，延迟时间TD用以脉冲光LP的持续时间T0标准化的值来表示。
首先，当距离图像传感器10的距离图像的生成处理开始时，通过运算电路12的光源控制单元31以及电荷转发控制单元32，在1帧期间内控制控制脉冲G1～G3以及脉冲光LP的定时(光源控制步骤、电荷转发控制步骤)。详细而言，设定为控制脉冲G1～G3在持续时间T1＝T0内互相不重复地连续的定时，脉冲光LP的定时以与控制脉冲G2的定时大致重复的方式设定。之后，通过各像素电路13的电压检测单元261～263，读出第一至第三检测信号S1～S3，将这些检测信号S1～S3向运算电路12输出(电压检测步骤)。
接着，基于从各像素电路13输出的检测信号S1～S3，通过运算电路12计算每个像素的距离信息(距离计算步骤)。即，通过距离数据有效性判定信号生成单元33，基于检测信号S1～S3，使用下述式(1)来计算距离数据有效性判定信号SA的值。
SA＝S2+S3－2S1…(1)
在上述式(1)中，检测信号S1～S3所示的信号的值(电压值)直接用标记S1～S3表示(以下相同)。该距离数据有效性判定信号SA的值是从检测信号S2、S3的值的合计值中去除了由背景光以及暗电流等的噪声为起因的电荷量NB的成分后的值，作为检测信号S1～S3中的反映了入射脉冲光LR的成分的合计值。而且，距离数据有效性判定单元34通过将距离数据有效性判定信号SA的值与阈值Th1进行比较，来判定使用检测信号S1～S3的距离的计算是否有效。由此，如图3的(k)部所示，从延迟时间TD的“－1”～“0”之间的值至“1”～“2”之间的值的范围被判定为距离的计算有效的范围即“数据有效范围”。进一步地，通过距离计算参照信号生成单元36，使用下述式(2)来计算检测信号S1与S3之差的值S3－1，
S3－1＝S3－S1…(2)
之后，通过计算差的值S3－1与距离数据有效性判定信号SA的值之比，使用下述式(3)来计算距离计算参照信号XR的值。
XR＝S3－1/SA…(3)
接着，通过距离计算参照信号选择单元37来判定距离计算参照信号XR的值是否在规定范围，从而判定对象物S是否处于可测定的范围。例如，判定距离计算参照信号XR的值是否为“0”以上且阈值Th2以下。通过这样的判定，能够从距离计算中排除以下两种情况：对象物S过近而入射脉冲光LR从检测信号S2的时间窗口偏离而导致距离计算参照信号XR的值饱和的情况；以及对象物S过远而入射脉冲光LR从检测信号S3的时间窗口偏离而导致距离计算参照信号XR的值未反映距离的情况。在图3的(l)部中所示的例子中，判定从延迟时间TD的“0”至“1”的附近的范围为“可测定范围”。最后，在距离图像生成单元38判定为位于“数据有效范围”并且判定为位于“可测定范围”的情况下，基于与该像素相关的距离计算参照信号XR来计算表示对象物S的距离的距离信息，生成并输出包含算出的各像素的距离信息的距离图像。在每1帧期间反复进行这样的距离图像的生成。
上述距离图像传感器10的距离计算也可以按照如下所述的另一种步骤(以下也称为“3分接2区方式”。)进行。根据该步骤，能够扩大延迟时间TD中的“数据有效范围”以及“可测定范围”。图4是表示按照距离图像传感器10的另一种计算步骤进行处理的各种信号的时序图、以及在另一种计算步骤中计算的各种值相对于延迟时间TD的变化的曲线图。在图4中，(a)部至(d)部分别表示控制脉冲G1～G3以及脉冲光LP的定时，(e)部至(m)部分别与延迟时间TD对应地示出第一至第三的检测信号S1～S3的值、差分值S1－3的值、差分值的绝对值|S1－3|、加算值的绝对值|S1+3|、由噪声为起因的信号成分SB的值、距离数据有效性判定信号SA的值、以及距离计算参照信号XR的值，(n)部示出延迟时间TD中的数据有效范围，(o)部示出延迟时间TD中可测定范围。
首先，当距离图像传感器10的距离图像的生成处理开始时，通过运算电路12的光源控制单元31以及电荷转发控制单元32，在1帧期间内控制控制脉冲G1～G3以及脉冲光LP的定时(光源控制步骤、电荷转发控制步骤)。详细而言，设定控制脉冲G1～G3在持续时间T1＝T0内互相不重复的连续的定时，脉冲光LP的定时以与控制脉冲G1的定时大致重复的方式设定。之后，通过各像素电路13的电压检测单元261～263，读出第一至第三的检测信号S1～S3，将这些检测信号S1～S3输出至运算电路12(电压检测步骤)。
接着，基于从各像素电路13输出的检测信号S1～S3，通过运算电路12来计算每个像素的距离信息(距离计算步骤)。即，通过距离数据有效性判定信号生成单元33，基于检测信号S1、S3，使用下述式(4)来计算检测信号S1、S3的差分值S1－3，再计算该差分值的绝对值|S1－3|。
S1－3＝S1－S3…(4)
此外，通过距离数据有效性判定信号生成单元33，使用下述式(5)来计算检测信号S1、S3的加算值的绝对值|S1+3|，
|S1+3|＝|S1+S3|…(5)
然后，通过求出加算值的绝对值|S1+3|与差分值的绝对值|S1－3|的差分，再使用下述式(6)来计算由噪声为起因的信号成分SB的值。
SB＝|S1+3|－|S1－3|…(6)
进一步地，通过距离数据有效性判定信号生成单元33，基于检测信号S1～S3和信号成分SB的值，使用下述式(7)来计算距离数据有效性判定信号SA的值。
SA＝|S1－3|+S2－0.5SB…(7)
然后，距离数据有效性判定单元34通过将距离数据有效性判定信号SA的值与阈值Th1进行比较，判定使用了检测信号S1～S3的距离的计算是否有效。例如，通过设定阈值Th1为“0”附近，如图4的(n)部所示，将从延迟时间TD的“－1”～“0”之间的值至“2”～“3”之间的值的范围判定为距离的计算有效的范围即“数据有效范围”。进一步地，通过距离计算参照信号生成单元36，计算检测信号S1与S3之差的值S1－3与距离数据有效性判定信号SA的值之比，从而使用下述式(8)来计算距离计算参照信号XR的值。
XR＝1－S1－3/SA…(8)
接着，通过距离计算参照信号选择单元37来判定距离计算参照信号XR的值是否在规定范围，从而判定对象物S是否处于可测定的范围。例如，判定距离计算参照信号XR的值是否为“0”以上且阈值Th2以下。通过这样的判定能够从距离计算中排除以下两种情况：对象物S过近而入射脉冲光LR从检测信号S2的时间窗口偏离而导致距离计算参照信号XR的值饱和的情况；以及对象物S过远而入射脉冲光LR从检测信号S2的时间窗口偏离而导致距离计算参照信号XR的值未反映距离的情况。例如，通过设定阈值Th2为“2”附近，如图4的(o)部所示，判定延迟时间TD的“0”至“2”的附近为止的范围为“可测定范围”。最后，在判定距离图像生成单元38处于“数据有效范围”并且处于“可测定范围”的情况下，基于与该像素相关的距离计算参照信号XR来计算表示对象物S的距离的距离信息，生成并输出包含算出的各像素的距离信息的距离图像。在每1帧期间反复地进行这样的距离图像的生成。
根据上述顺序，能够在与检测信号S1～S3对应的三个时间窗口中分配由入射脉冲光LR而产生的电荷量，因此能够扩大延迟时间TD的可计算范围。
根据以上说明的距离图像传感器10或者使用了距离图像传感器10的距离图像测定方法，在1帧期间内从光源11反复产生脉冲光LP，与脉冲光LP的产生对应地依次设定脉冲光LP的持续时间T0以上的持续时间T1的时间窗口，在该时间窗口从像素电路13的光电转换区域21向第一至第三的电荷读出区域221～223依次转发电荷。进一步地，从像素电路13的第一至第三的电荷读出区域221～223读出第一至第三的检测信号S1～S3，基于这些，计算从去除了第一至第三检测信号S1～S3中的背景光的入射脉冲光LR产生的电荷的信号成分的合计值SA，基于该信号成分的合计值SA与阈值Th1的比较结果，判断使用了第一至第三检测信号S1～S3的距离计算的有效/无效。其结果是，通过使用该判断结果，能够生成反映了有效的距离计算的结果的距离图像，并且无论对象物S的位置如何，都能够生成高精度的图像信号。
需要说明的是，在本实施方式中，运算电路12通过计算第一至第三检测信号S1～S3中的两个检测信号之差与信号成分的合计值SA之比，从而求出距离计算参照信号XR，根据距离计算参照信号XR与阈值Th2的比较结果来判断距离计算参照信号XR是否有效，在距离计算参照信号XR为有效的情况下，基于距离计算参照信号XR来计算距离。通过这样的处理，能够适当判断对象物S是否位于可测定范围外，基于该判断结果，能够生成包含高精度的距离信息的距离图像。
以下，示出本实施方式中的测定结果。
在图5中示出通过距离图像传感器10与入射脉冲光LR的延迟时间TD对应地检测出的第一至第三检测信号S1～S3以及这些信号的合计值STOTAL的强度。在此，采用图4所示的3分接2区方式，脉冲光LP的持续时间T0以及控制脉冲G1～G3的持续时间T1均设定为22.22[ns]。如该测定结果所示，可知检测信号S1～S3的峰值出现在不同的延迟时间TD，反映与延迟时间TD对应地分配的电荷量并生成检测信号S1～S3。
另外，图6是表示通过距离图像传感器10针对每个对象物S的实测距离而测定的距离以及距离分辨率的曲线图。此时，设定脉冲光LP的持续时间T0＝28ns、控制脉冲G1～G3的持续时间T1＝29.63ns，采用如图3所示的3分接1区方式，以30fps的间隔生成距离图像。另外，距离以及距离分辨率的测定结果以30张距离图像进行平均化。根据该测定结果可知，距离测定值在实测距离与0.5m～4m的范围内非常一致，距离分辨率也被提高到距离测定值2m且50mm以下。
同样地，图7是表示通过距离图像传感器10针对每个对象物S的实测距离而测定的距离以及距离分辨率的曲线图。此时，设定脉冲光LP的持续时间T0＝14ns、控制脉冲G1～G3的持续时间T1＝14.82ns，采用3分接2区方式，以30fps的间隔生成距离图像。根据该测定结果可知，距离测定值在实测距离与0.5m～4m的范围内非常一致，距离分辨率也被提高到距离测定值1.5m且20mm以下。
图8是表示采用3分接1区方式或3分接2区方式通过距离图像传感器10而执行的距离计算中的距离分辨率的特性的曲线图。如该特性所示，在3分接1区方式的情况下，可见伴随着测量距离变长则距离分辨率呈逐渐降低的倾向，在3分接2区方式的情况下，在计算的距离较大范围内距离分辨率提高。
在图9中示出将采用3分接2区方式通过图1的距离图像传感器10而计算出的距离与实测距离进行比较。这样，在实测距离到4m为止的范围内，计算出的距离与实测距离非常一致。若实测距离大于4m时(图9的附图标记W1所示的范围)，则对象物S位于可测定范围外，因此，当算出距离接近0，则使用了检测信号S1～S3的距离计算的误差变大，但在该情况下，通过阈值判定使距离计算无效化，因此防止了错误的距离图像的生成。
[第二实施方式]
接下来，对本发明的第二实施方式的距离图像传感器10A的结构以及通过距离图像传感器10A的距离图像测定方法的步骤进行说明。
图10是表示距离图像传感器10A的概略结构的框图。图10所示的距离图像传感器10A与第一实施方式的距离图像传感器10相比，不同点是：像素电路13具备四个电荷读出区域221～224，并且与它们对应地具备四个控制电极241～244和四个电压检测单元261～264，此外，电荷转发控制单元32A、构成距离计算单元的距离数据有效性判定信号生成单元33A、距离计算参照信号生成单元36A、以及距离计算参照信号选择单元37A的功能不同。以下，以与距离图像传感器10的不同点为中心对距离图像传感器10A的结构进行说明。
像素电路13包含：接近光电转换区域21，并且，分别互相分离地设置的第一至第四电荷读出区域221～224以及电荷排出区域23、与第一至第四电荷读出区域221～224以及电荷排出区域23对应地设置的用于从光电转换区域21在各个区域之间施加用于转发电荷的控制脉冲的第一至第四控制电极241～244以及控制电极25、用于从第一至第四电荷读出区域221～224分别读出第一至第四检测信号S1～S4的电压检测单元261～264。电荷读出区域221～224的具体电路结构、像素电路13中的各种区域以及控制电极的方式与第一实施方式相同。
运算电路12的电荷转发控制单元32A对应于1帧期间内的脉冲光LP的各自的发光定时，按照持续时间T0以上的持续时间T1对控制电极241～244依次施加第一至第四控制脉冲G1～G4。在本实施方式中，持续时间T1被设定为与持续时间T0相等。另外，电荷转发控制单元32A在第一至第四控制脉冲G1～G4的一系列的施加定时之前，向控制电极25施加用于使蓄积于光电转换区域21中的电荷向电荷排出区域23排出的控制脉冲GD。
运算电路12的距离数据有效性判定信号生成单元33A基于从像素电路13输出的第一至第四检测信号S1～S4，将从去除了第一至第四检测信号S1～S4中的背景光的信号成分的入射脉冲光LR产生的电荷的信号成分的合计值作为距离数据有效性判定信号SA。距离计算参照信号生成单元36A通过计算第一至第四检测信号S1～S4中的一组检测信号S1、S3的差值S1－3与距离数据有效性判定信号SA的比，求出第一距离计算参照信号XR。此外，距离计算参照信号生成单元36A通过计算检测信号S1～S4中的另一组检测信号S2、S4的差值S2－4与距离数据有效性判定信号SA的比，求出第二距离计算参照信号YR。然后，距离计算参照信号生成单元36A根据求出的第一距离计算参照信号XR与阈值(第三阈值)Th2的比较结果，选择第一以及第二距离计算参照信号XR、YR中的一个，在所选择的第一以及第二距离计算参照信号XR、YR在可测定的范围的情况下，将所选择的距离计算参照信号XR、YR作为有效的值向距离图像生成单元38输出。
图11是用于说明距离图像传感器10A的距离计算的原理的时序图。在图11中示出通过距离图像传感器10A而控制的各种信号的定时以及像素电路13的各区域中蓄积电荷的定时，从上依次地示出了脉冲光LP的发光定时、第一至第四的控制脉冲G1～G4以及控制脉冲GD的施加定时、第一至第四电荷读出区域221～224中的电荷蓄积定时。这样，与脉冲光LP的持续时间T0的发光定时对应地以第一至第四控制脉冲G1～G4互相不重叠的方式持续地按照持续时间T0施加。这样一来，通过对入射脉冲光LR进行光电转换，蓄积于光电转换区域21中的电荷以与入射脉冲光LR相对于脉冲光LP的延迟时间TD对应的比率分配到两个电荷读出区域222、223或者两个电荷读出区域223、224。在此，通过设定脉冲光LP的持续时间T0的发光定时与第一控制脉冲G1的施加定时之间的关系，在电荷读出区域221中，仅输送在由控制脉冲G1规定的时间窗口下由背景光以及暗电流等的噪声为起因的电荷量NB的电荷。对此，在入射脉冲光LR的到达定时跨越以控制脉冲G2、G3规定的两个时间窗口的情况下，在电荷读出区域222输送电荷量NB加上与延迟时间TD对应地分配的电荷量Nsm1的电荷，另一方面，在电荷读出区域223输送电荷量NB加上与延迟时间TD对应地分配的电荷量Nsm2的电荷。另一方面，在入射脉冲光LR的到达定时跨越以控制脉冲G3、G4规定的两个时间窗口的情况下，在电荷读出区域223输送电荷量NB加上与延迟时间TD对应地分配的电荷量Nsm1的电荷，另一方面，在电荷读出区域224输送电荷量NB加上与延迟时间TD对应地分配的电荷量Nsm2的电荷。利用这样的现象，在距离图像传感器10A的运算电路12中，根据脉冲光LP的各自的发光定时，通过计算去除了电荷量NB的电荷量Nsm1与去除了电荷量NB的电荷量Nsm2的比率，能够计算与延迟时间TD对应的对象物S的距离。
接着，对距离图像传感器10A的距离计算的步骤进行详细说明，并且对本实施方式的距离图像测定方法(以下也称为“4分接3区方式”。)进行说明。图12是表示通过距离图像传感器10A进行处理的各种信号的时序图，以及计算的各种值相对于延迟时间TD的变化的曲线图。在图12中，(a)部至(e)部分别示出控制脉冲G1～G4以及脉冲光LP的定时，(f)部至(n)部分别与延迟时间TD对应地示出第一至第四检测信号S1～S4的值、差分值S1－3、S2－4的值、距离数据有效性判定信号SA的值、以及距离计算参照信号XR、YR的值，(o)部示出延迟时间TD中的数据有效范围，(p)部示出延迟时间TD中的可测定范围。
首先，当距离图像传感器10A的距离图像的生成处理开始时，通过运算电路12的光源控制单元31以及电荷转发控制单元32A在1帧期间内控制控制脉冲G1～G4以及脉冲光LP的定时(光源控制步骤、电荷转发控制步骤)。详细而言，设定控制脉冲G1～G4在持续时间T1＝T0内互相不重复的定时，脉冲光LP的定时以与控制脉冲G1的定时大致重复的方式设定。然后，通过各像素电路13的电压检测单元261～264读出第一至第四检测信号S1～S4，将这些检测信号S1～S4向运算电路12输出(电压检测步骤)。
接着，基于从各像素电路13输出的检测信号S1～S4，通过运算电路12计算每个像素的距离信息(距离计算步骤)。即，通过距离数据有效性判定信号生成单元33A，基于检测信号S1、S3，使用下述式(9)来计算检测信号S1、S3的差分值S1－3，
S1－3＝S1－S3…(9)
之后，计算该差分值的绝对值|S1－3|。除此以外，通过距离数据有效性判定信号生成单元33A，基于检测信号S2、S4，使用下述式(10)来计算检测信号S2、S4的差分值S2－4，
S2－4＝S2－S4…(10)
之后，计算该差分值的绝对值|S2－4|。进而，通过距离数据有效性判定信号生成单元33A，通过相加差分值的绝对值|S1－3|和差分值的绝对值|S2－4|，使用下述式(11)来计算距离数据有效性判定信号SA的值。
SA＝|S1－3|+|S2－4|…(11)
然后，距离数据有效性判定单元34通过将距离数据有效性判定信号SA的值与阈值Th1进行比较，判定使用了检测信号S1～S4的距离的计算是否有效。例如，通过将阈值Th1设定为“0”附近，如图12的(o)部所示，判定从延迟时间TD的“－1”～“0”之间的值到“3”～“4”之间的值的范围是距离的计算有效的范围即“数据有效范围”。进而，通过距离计算参照信号生成单元36A，计算检测信号S1与S3之差的值S1－3与距离数据有效性判定信号SA的值之比，使用下述式(12)计算第一距离计算参照信号XR的值，
XR＝1－S1－3/SA…(12)
并且，通过计算检测信号S2与S4之差的值S2－4与距离数据有效性判定信号SA的值之比，使用下述式(13)计算第二距离计算参照信号YR的值。
XR＝2－S2－4/SA…(13)
接着，通过距离计算参照信号选择单元37A，判定距离计算参照信号XR的值是否在规定范围，从而从距离计算参照信号XR和距离计算参照信号XR中选择用于距离计算而参照的值。例如，在距离计算参照信号XR的值为“0”以上且阈值Th2以下的情况下选择距离计算参照信号XR，在距离计算参照信号XR的值大于阈值Th2的情况下选择距离计算参照信号YR。通过这样的判定，根据对象物S的位置，能够选择反映了入射脉冲光LR的入射定时重复的时间窗口的检测信号的距离计算参照信号。进而，通过距离计算参照信号选择单元37A，判定所选择的距离计算参照信号XR、YR的值是否在规定范围，由此判定对象物S是否处于可测定的范围。例如，判定距离计算参照信号XR的值是否为“0”以上，判定距离计算参照信号YR的值是否为阈值Th3以下。通过这样的判定，能够从距离计算中排除以下两种情况：对象物S过近而入射脉冲光LR从检测信号S3的时间窗口偏离而导致距离计算参照信号YR的值饱和的情况；以及对象物S过远而入射脉冲光LR从检测信号S2的时间窗口偏离而导致距离计算参照信号XR的值未反映距离的情况。例如，通过将阈值Th3设定为“3”附近，如图12的(p)部所示，判定延迟时间TD的从“0”至“3”的附近为止的范围为“可测定范围”。最后，判定距离图像生成单元38在判定为处于“数据有效范围”，并且判定为处于“可测定范围”的情况下，针对该像素，基于选择的距离计算参照信号XR、YR，来计算表示对象物S的距离的距离信息，生成并输出包含算出的各像素的距离信息的距离图像。
根据上述顺序，能够将由入射脉冲光LR产生的电荷量分配到与检测信号S1～S4对应的四个时间窗口，因此，能够扩大延迟时间TD的可计算范围。进而，在距离计算参照信号XR、YR中选择相对于延迟时间TD呈线形变化的值来进行距离的计算，因此能够与对象物S所在的范围对应地利用适当的距离数据参照信号的值来计算距离，无论对象物S的位置如何，都能够生成高精度的图像信号。
上述距离图像传感器10A的距离计算按照如下所述的另一种步骤(以下也称为“4分接4区方式”。)进行。根据该步骤，能够扩大延迟时间TD中的“数据有效范围”以及“可测定范围”。图13是按照距离图像传感器10A的另一种计算步骤进行处理的各种信号的时序图、以及在另一种计算步骤中计算的各种值相对于延迟时间TD的变化的曲线图。在图13中，(a)部至(e)部分别示出控制脉冲G1～G4以及脉冲光LP的定时，(f)部至(o)部分别与延迟时间TD对应地示出第一至第四检测信号S1～S4的值、差分值S1－3，S2－4的值、距离数据有效性判定信号SA的值、以及距离计算参照信号R1、R2、R3的值，在(p)部示出延迟时间TD中的数据有效范围，在(q)部中示出与延迟时间TD对应地计算的比较信号P2～P4的值，在(r)部中示出延迟时间TD中的可测定范围。
首先，当距离图像传感器10A的距离图像的生成处理开始时，通过运算电路12的光源控制单元31以及电荷转发控制单元32A，在1帧期间内控制控制脉冲G1～G4以及脉冲光LP的定时(光源控制步骤、电荷转发控制步骤)。详细而言，设定为控制脉冲G1～G4在持续时间T1＝T0内互相不重复的连续的定时，脉冲光LP的定时以与控制脉冲G1的定时大致重复的方式设定。在此，在紧接脉冲光LP的点灯定时之前接通控制脉冲G3，之后，将四个控制脉冲G1～G4连续地接通，再次接通控制脉冲G1。之后，通过各像素电路13的电压检测单元261～264，读出第一至第四的检测信号S1～S4，再将这些检测信号S1～S4向运算电路12输出(电压检测步骤)。
接着，基于从各像素电路13输出的检测信号S1～S4，通过运算电路12计算每个像素的距离信息(距离计算步骤)。即，通过距离数据有效性判定信号生成单元33A，计算检测信号S1、S3的差分值S1－3以及检测信号S2、S4的差分值S2－4。此外，通过距离数据有效性判定信号生成单元33A，基于差分值S1－3以及差分值S2－4的绝对值，计算距离数据有效性判定信号SA的值。然后，距离数据有效性判定单元34A通过将距离数据有效性判定信号SA的值与阈值Th1进行比较，判定使用了检测信号S1～S4的距离的计算是否有效。例如，通过将阈值Th1设定为“0”附近，如图13的(p)部所示，判定从延迟时间TD的“－1”～“0”之间的值到“4”～“5”之间的值为止的范围是距离的计算有效的范围即“数据有效范围”。进而，通过距离计算参照信号生成单元36A，来计算检测信号S1与S3的差值S1－3与距离数据有效性判定信号SA的值之比，由此，使用下述式(14)来计算距离计算参照信号R1的值，
R1＝1－S1－3/SA…(14)
通过计算检测信号S2与S4的差值S2－4与距离数据有效性判定信号SA的值之比，使用下述式(15)来计算距离计算参照信号R2的值，
R2＝2－S2－4/SA…(15)
通过计算检测信号S1与S3的差值S1－3与距离数据有效性判定信号SA的值之比，由此，使用下述式(16)计算距离计算参照信号R3的值。
R3＝3+S1－3/SA…(16)
通过距离计算参照信号选择单元37A将距离计算参照信号R1～R3的值与阈值进行比较，从距离计算参照信号R1～R3中选择用于距离计算的参照的值。例如，在距离计算参照信号R1为阈值Th2以下且距离计算参照信号R2为阈值Th5以下的情况下，选择距离计算参照信号R1。另一方面，在距离计算参照信号R1大于阈值Th2且距离计算参照信号R2为阈值Th5以下的情况下，选择距离计算参照信号R2。进而，在距离计算参照信号R2大于阈值Th5的情况下，选择距离计算参照信号R3。通过这样的判定，根据对象物S的位置，能够选择反映了入射脉冲光LR的入射定时重复的时间窗口的检测信号的距离计算参照信号。进而，通过距离计算参照信号选择单元37A，来判定所选择的距离计算参照信号R1，R3的值是否在规定范围，从而，判定对象物S是否处于可测定的范围。例如，判定距离计算参照信号R1的值是否为“0”以上，判定距离计算参照信号R3的值是否为阈值Th6以下。通过这样的判定，能够从距离计算中排除以下两种情况：对象物S过近而入射脉冲光LR从检测信号S4的时间窗口偏离而导致距离计算参照信号R3的值饱和的情况；以及对象物S过远而入射脉冲光LR从检测信号S2的时间窗口偏离而导致距离计算参照信号R1的值未反映距离的情况。例如，通过将阈值Th6设定为“4”附近，如图13的(r)部所示，判定从延迟时间TD的“0”至“4”的附近为止的范围为“可测定范围”。另外，在图13的(q)部示出了将距离计算参照信号R1与阈值Th2进行比较的结果从而得到的比较信号P2、将距离计算参照信号R2与阈值Th5进行比较的结果从而得到的比较信号P3、以及将距离计算参照信号R3与阈值Th6进行比较的结果从而得到的比较信号P4。
最后，在距离图像生成单元38被判定为处于“数据有效范围”，并且，被判定为处于“可测定范围”的情况下，针对该像素，基于所选择的距离计算参照信号R1～R3，计算表示对象物S的距离的距离信息，生成并输出包含算出的各像素的距离信息的距离图像。
根据上述顺序，能够将由入射脉冲光LR产生的电荷量分配至与连续的五个控制脉冲G1～G4，G1对应的五个时间窗口，因此，能够扩大延迟时间TD的可计算范围。进而，由于在距离计算参照信号R1、R2、R3中选择相对于延迟时间TD呈线形变化的值来进行距离的计算，因此，能够与对象物S所在的范围对应地利用适当的距离数据参照信号的值来计算距离，无论对象物S的位置如何，都能够生成高精度的图像信号。
参照图14～图16，图14～图16表示本实施方式的4分接4区方式的距离计算步骤的概要。在图14中，在(a)部中示出采用4分接4区方式的距离计算进行处理的各种信号的时序图，在(b)部中示出距离计算的对象物S的存在区域。另外，在图15中，与各时间窗口中的电荷的分配状态一起示出了采用4分接4区方式的距离计算进行处理的各种信号的时序图，在图16中，与延迟时间TD对应的距离计算参照信号R1、R2、R3的选择状态一起示出了采用4分接4区方式的距离计算进行处理的各种信号的时序图。
如图14所示，对象物S位于距距离图像传感器10A的距离不同的区Z1～Z4中的任一个，因此，入射脉冲光LR的像素电路13的到达定时不同。例如，在对象物S位于距距离图像传感器10A的距离较小的区Z1的情况下，入射脉冲光LR的到达定时是跨越由控制脉冲G1规定的时间窗口和由控制脉冲G2规定的时间窗口的定时TI1。另外，在对象物S位于距距离图像传感器10A的距离比区Z1大的区Z2的情况下，入射脉冲光LR的到达定时是跨越由控制脉冲G2规定的时间窗口和由控制脉冲G3规定的时间窗口的定时TI2。另外，在对象物S位于距距离图像传感器10A的距离比区Z2大的区Z3的情况下，入射脉冲光LR的到达定时是跨越由控制脉冲G3规定的时间窗口和控制脉冲G4规定的时间窗口的定时TI3。进而，在对象物S位于距距离图像传感器10A的距离比区Z3大的区Z4的情况下，入射脉冲光LR的到达定时是跨越由控制脉冲G4规定的时间窗口和由控制脉冲G1规定的时间窗口的定时TI4。
在本实施方式的距离计算中利用这样的现象，如图15所示的，在入射脉冲光LR的到达定时为定时TI1的情况下，通过使用距离计算参照信号R1进行距离计算，从而将在由控制脉冲G1规定的时间窗口中蓄积的电荷的量Nsm1和由控制脉冲G2规定的时间窗口中蓄积的电荷的量Nsm2的比率反映到距离信息中。需要说明的是，在计算该比率时，排除了由背景光等为起因的噪声的电荷量NB。另外，在入射脉冲光LR的到达定时为定时TI2的情况下，通过选择性地使用距离计算参照信号R1或距离计算参照信号R2来进行距离计算，从而将在由控制脉冲G2规定的时间窗口中蓄积的电荷的量与在由控制脉冲G3规定的时间窗口中蓄积的电荷的量的比率反映到距离信息中。同样地，在入射脉冲光LR的到达定时为定时TI3的情况下，通过选择性地使用距离计算参照信号R2或距离计算参照信号R3来进行距离计算，从而将在由控制脉冲G3规定的时间窗口中蓄积的电荷的量与在由控制脉冲G4规定的时间窗口中蓄积的电荷的量的比率反映到距离信息。进而，在入射脉冲光LR的到达定时为定时TI4的情况下，通过使用距离计算参照信号R3来进行距离计算，从而将在由控制脉冲G4规定的时间窗口中蓄积的电荷的量N与在由控制脉冲G1规定的时间窗口中蓄积的电荷的量的比率反映到距离信息中。即，如图16所示，与入射脉冲光LR的到达的定时对应地，选择性地使用相对于延迟时间TD具有线形的关系的距离计算参照信号R1、R2、R3来计算距离信息。
以下，示出本实施方式的4分接4区方式的距离计算的测定结果。
图17是表示在对对象物S的实测距离进行各种变更时将通过距离图像传感器10A算出的距离信息的距离分辨率与理论值进行比较的曲线图。根据该结果，距离分辨率与理论值非常一致，在实测距离在0～8m的范围内得到实测距离的约1/100的距离分辨率。
在图18中示出通过距离图像传感器10A与入射脉冲光LR的延迟时间TD对应地检测出的第一至第四检测信号S1～S4以及这些信号的合计值STOTAL的强度。在此，将脉冲光LP的持续时间T0以及控制脉冲G1～G4的持续时间T1均设定为15[ns]。如该测定结果所示，可知在检测信号S1～S4的峰值在不同的延迟时间TD中出现，反映根据延迟时间TD而分配的电荷量并生成检测信号S1～S4。
另外，图19是表示针对对象物S的每个实测距离通过距离图像传感器10A而测定的距离的曲线图。在此，以15.7fps的间隔生成距离图像，距离测定结果用30张距离图像进行平均化。通过该测定结果，可知距离测定值在实测距离和1m～8m的范围内常一致。
图20是表示将针对对象物S的每个实测距离通过距离图像传感器10A而测定的距离的分辨率与比较例进行比较的曲线图。在比较例中，使用具备两个电荷读出区域和与其对应的两个控制电极的像素电路，使用从这些电荷读出区域读出的检测信号来测定距离。根据该的结果，本实施方式的距离计算中的分辨率的值与比较例相比为1/2以下，距离分辨率被充分地改善。
在此，在上述第一实施方式以及第二实施方式中所使用的阈值优选如下所述地设定。
即，第一阈值Th1是针对距离数据有效性判定信号SA设定的阈值。该距离数据有效性判定信号SA通过检测信号S1～SM(M为3以上的整数)的线形运算来计算，设定为计算距离计算参照信号XR、YR、R1～R3的计算式的分母。然后，第一阈值Th1具有成为分母的距离数据有效性判定信号SA不为“0”的有限的值，是决定距离计算参照信号XR、YR、R1～R3的计算为有效的范围的目的阈值。因此，距离数据有效性判定信号SA是通过检测信号S1～SM的线形运算来计算的，因此第一阈值Th1以检测信号S1～SM的无信号时的噪声电压的RMS值为基准，优选决定为超过这些。
另一方面，阈值Th2、Th3、Th5、Th6针对距离计算参照信号XR、YR、R1～R3设定。除了决定可测定范围的最后的阈值(图3、图4中的Th2、图12中的Th、，图13中Th6)以外，设定在相当于时间窗的切换附近的距离计算参照信号的值附近。因此，决定可测定范围的最后的阈值优选为以从赋予最后的距离计算参照信号的最大值的、相当于最后的时间窗的端部的距离时间参照信号的值(例如，在图13中R3的最大值的“4”)减去相当于第一阈值Th1的值的、超过检测信号S1～SM的无信号时的噪声电压的RMS值后而被决定的值。
需要说明的是，本发明并不限定于上述的实施方式的方式。
在上述实施方式中，在像素电路中设置三个或四个电荷读出区域，但也可以设置5个以上的电荷读出区域。在该情况下，控制电极以及电荷检测单元设置为与电荷读出区域的个数对应，运算电路12基于从各个电荷读出区域读出的检测信号来计算距离信息。
另外，在上述实施方式中，每个脉冲光LP的一次的发光定时反复执行每个各像素电路13的距离的计算，但是也可以按每个脉冲光LP的多次的发光定时反复执行。
在此，对各像素电路13具有八个电荷读出区域，并且运算电路12按脉冲光LP的每两次的发光定时执行距离计算的情况的本发明的变形例进行说明。图21是在本变形例的距离计算步骤中进行处理的各种信号的时序图，图22和图23是表示本变形例的距离计算步骤中计算的各种值相对于延迟时间TD的变化的曲线图。在图21中示出施加于八个控制电极的控制脉冲G1～G8、控制脉冲GD、以及两个脉冲光LP的定时，在图22中与延迟时间TD对应地示出从八个电荷读出区域读出的第一至第八检测信号Q1～Q8的值、区判定信号QA～QD的值、以及比较信号PA～PD的值，在图23中与延迟时间TD对应地示出作为距离计算的基础的距离计算参照信号的值。
在该变形例中，如图21所示，通过运算电路12的光源控制单元31，以在时间差7T0内产生持续时间T0的第一脉冲光和持续时间2T0的第二脉冲光的两个脉冲光LP的方式进行控制。并且，通过运算电路12的电荷转发控制单元32，在持续时间T0的第一脉冲光的持续时间T0之前将电荷排出用的控制脉冲GD关闭，并且，与持续时间2T0的第二脉冲光的产生同步地以持续时间T0的控制脉冲G1～G8互相不重叠的方式依次施加。
在这样的脉冲光以及控制脉冲的定时控制下，从八个电荷读出区域读出的第一至第八检测信号Q1～Q8随着延迟时间TD而变动(图22)。根据本变形例的运算电路12，用于判定对象物S的距离的区的区判定信号基于第一至第八检测信号Q1～Q8根据下述式来计算。
QA＝Q1－Q5，
QB＝Q2－Q6，
QC＝Q3－Q7，
QD＝Q4－Q8
这些区信号的值的大小关系的组合由每个延迟时间TD来决定，通过利用这样的性质，能够判定对象物S的距离的区。
除此以外，通过运算电路12来计算下述的值，作为用于每个区的距离计算的参照值。
QAB＝QA+QB，
QBC＝QB+QC，
QCD＝QC+QD，
QAdC＝QA－QC，
QBdD＝QB－QD，
QAC＝QA+QC，
QBD＝QB+QD，
QABC＝QA+QB+QC，
QBCD＝QB+QC+QD，
QCDdA＝QC+QD－QA，
QDdAdB＝QD－QA－QB
进而，通过运算电路12，将各区判定信号QA～QD与两个阈值QTH+、QTH－进行比较，从而生成三个值(－1，0，1)的比较信号PA～PD。即，各个比较信号PA～PD的值分别在区判定信号QA～QD小于阈值QTH－的情况下设定为“－1”，在区判定信号QA～QD为阈值QTH－以上且阈值QTH+以下的情况下设定为“0”，在区判定信号QA～QD大于阈值QTH+的情况下设定为“1”。然后，通过运算电路12的距离计算参照信号选择单元37，根据比较信号PA～PD的值的组合来判定对象物S的距离的区。例如，在(PA，PB，PC，PD)＝(1，0，0，0)的情况下，判定为可测定范围外的区Z－1，在(PA，PB，PC，PD)＝(1，1，0，0)的情况下，、判定为区Z0，在(PA，PB，PC，PD)＝(0，1，1，0)的情况下，判定为区Z1，在(PA，PB，PC，PD)＝(0，0，1，1)的情况下，判定为区Z2。另外，在(PA，PB，PC，PD)＝(0，0，－1，0)的情况下，判定为区Z13，在(PA，PB，PC，PD)＝(0，0，0，－1)的情况下，判定为可测定范围外的区Z14(图22)。区判定后，距离计算参照信号选择单元37从预先计算的值中选择与距离的区对应的两个值作为用于距离计算的距离计算参照信号。此时，选择的距离计算参照信号可以预先计算，也可以在区判定后重新计算。在图23中，用黑点所示的值表示在与各区对应地选择的值中距离计算的过程中作为分母使用的值，白圈所示的值表示与各区对应地选择的值中距离计算的过程中作为分子使用的值。例如，在判定为区Z0的情况下，选择距离计算参照信号QAC作为用作分母的值，选择距离计算参照信号QBC作为用作分子的值。在判断为区Z13的情况下，选择距离计算参照信号QBCD作为用作分母的值，选择距离计算参照信号QDdAdB作为用作分子的值。需要说明的是，如图23所示的距离计算参照信号的选择方法是一个例子，从各区的短距离侧向长距离侧相对于延迟时间TD呈直线性地变化，并且，在区内侧或区的边界以不产生变化率的变化点(弯曲点)的方式选择距离计算参照信号作为分子的值即可。使用在区的边界不产生变化率的变化点(弯曲点)的距离计算参照信号，是为了防止在两个区的边界部分计算值不连续。另外，选择从各区的短距离侧到长距离侧为恒定值的距离计算参照信号作为分母的值即可。
本变形例的运算电路12的距离图像生成单元38使用通过距离计算参照信号选择单元37所选择的距离计算参照信号，与所判定的各自的区Z0～Z13对应地使用下述式来计算对象物S的距离L。需要说明的是，在下述式中c表示光速。
区Z0：L＝(1/2)cT0{(QBC/QAC)－1}，
区Z1：L＝(1/2)cT0{(－QAB/QAC)+2}，
区Z2、区Z3：L＝(1/2)cT0{(QAB/QAdC)+2}，
区Z4：L＝(1/2)cT0{(QBC/QBdD)+3}，
区Z5：L＝(1/2)cT0{(QAB/－QAC)+6}，
区Z6：L＝(1/2)cT0{(QAB/QAdC)+6}，
区Z7：L＝(1/2)cT0{(QBC/QBdD)+7}，
区Z8：L＝(1/2)cT0{(QCD/QABC)+8}，
区Z9：L＝(1/2)cT0{(－QBdD/QBCD)+9}，
区Z10：L＝(1/2)cT0{(－QAC/QCDdA)+10}，
区Z11：L＝(1/2)cT0{(－QBD/QDdAdB)+11}，
区Z12：L＝(1/2)cT0{(QCDdA/QABC)+12}，
区Z13：L＝(1/2)cT0{(QDdAdB/QBCD)+13}
需要说明的是，在本变形例中，将两个脉冲光的脉冲的振幅(光强度)设定为相同，但是，也可以改变两个脉冲光的振幅，例如，将第一脉冲光的振幅设定为小于第二脉冲光的振幅。
另外，也可以在同一周期内发光的脉冲光LP的每两次的发光定时执行距离计算。图24是按照这种情况的变形例的距离计算步骤进行处理的各种信号的时序图，图25和图26是表示在本变形例的距离计算步骤中计算的各种值相对于延迟时间TD的变化的曲线图。在图24中示出了施加在八个控制电极的控制脉冲G1～G8、控制脉冲GD、以及两个脉冲光LP的定时，在图25中与延迟时间TD对应地示出从八个电荷读出区域读出的第一至第八检测信号Q1～Q8的值、以及以这些值为基础所计算的中间运算信号的值，在图26中与延迟时间TD对应地示出了作为距离计算的基础的距离计算参照信号。
在该变形例中，如图24所示，通过运算电路12的光源控制单元31，以在时间差7T0产生持续时间T0的第一脉冲光与持续时间T0的第二脉冲光的两个脉冲光LP的方式进行控制。并且，通过运算电路12的电荷转发控制单元32，在紧接持续时间T0的第一脉冲光的产生之前关闭电荷排出用的控制脉冲GD，并且，从第一脉冲光的产生开始定时到第二脉冲光的产生开始定时之间，在施加了持续时间7T0的控制脉冲G1之后，与第二脉冲光的产生同步地以持续时间T0的控制脉冲G2～G8互相不重叠的方式依次施加。
在这样的脉冲光以及控制脉冲的定时控制下，从八个电荷读出区域读出的第一至第八检测信号Q1～Q8随着延迟时间TD而变动(图25)。在本变形例的运算电路12中，这些第一至第八检测信号Q1～Q8作为用于判定对象物S的距离的区的区判定信号而被参照。这些区判定信号中的第一检测信号Q1与其他的任一个信号Q2～Q8的值的大小关系的组合由每个延迟时间TD决定，通过利用这样的性质，能够判定对象物S的距离的区。
详细而言，通过运算电路12的距离计算参照信号选择单元37，各信号Q1～Q8与预先设定的阈值QTH进行比较，通过判别与信号Q1相关的比较结果和与其他的信号Q2～Q8有关的比较结果是否符合下述的任一个组合，从区Z1～Z12中判定对象物S的距离的区(图25)。
区Z1：Q1≥QTH且Q3≥QTH，
区Z2：Q1≥QTH且Q4≥QTH，
区Z3：Q1≥QTH且Q5≥QTH，
区Z4：Q1≥QTH且Q6≥QTH，
区Z5：Q1≥QTH且Q7≥QTH，
区Z6：Q1≥QTH且Q8≥QTH，
区Z7：Q1＜QTH且Q2≥QTH，
区Z8：Q1＜QTH且Q3≥QTH，
区Z9：Q1＜QTH且Q4≥QTH，
区Z10：Q1＜QTH且Q5≥QTH，
区Z11：Q1＜QTH且Q6≥QTH，
区Z12：Q1＜QTH且Q7≥QTH
此外，通过运算电路12，基于信号Q1～Q8，通过下述式计算用于距离计算的中间运算信号Q25、Q36、Q47、Q58(图25)，并且，基于这些中间运算信号，通过下述式计算用于每个区的距离计算的参照的距离计算参照信号QA～QL(图26)。
Q25＝Q2－Q5，
Q36＝Q3－Q6，
Q47＝Q4－Q7，
Q58＝Q5－Q8，
QA＝Q25+Q36，
QB＝Q36+Q47，
QC＝Q47+Q58，
QD＝Q25－Q47，
QE＝Q36－Q58，
QF＝Q25+Q47，
QG＝Q36+Q58，
QH＝Q25+Q36+Q47，
QI＝Q36+Q47+Q58，
QJ＝Q47－Q25－Q36，
QK＝Q47+Q58－Q25，
QL＝Q58－Q25－Q36
区判定后，距离计算参照信号选择单元37从预先算出的距离计算参照信号QA～QL中选择与距离的区对应的两个值，作为用于距离计算的距离计算参照信号。此时，所选择的距离计算参照信号可以预先计算，也可以在区判定后重新计算。在图26中，用黑点所示的值表示与各区对应地选择的值中的在距离计算的过程中用作分母的值，用白圈所示的值表示与各区对应地选择的值中的在距离计算的过程中用作分子的值。例如，在判定为区Z1的情况下，选择距离计算参照信号QH作为用作分母的值，选择距离计算参照信号QD作为用作分子的值。在判定为区Z12的情况下，选择距离计算参照信号QI作为用作分母的值，选择距离计算参照信号QE作为用作分子的值。需要说明的是，如图26所示的距离计算参照信号的选择方法是一个例子，从各区的短距离侧到长距离侧相对于延迟时间TD呈直线性地变化，并且，在区内侧或区的边界不产生变化率的变化点(弯曲点)的距离计算参照信号被选择作为分子的值即可。使用在区的边界不产生变化率的变化点(弯曲点)的距离计算参照信号是为了防止在两个区的边界部分计算值变得不连续。另外，从各区的短距离侧到长距离侧成为恒定值的距离计算参照信号被选择作为分母的值即可。
本变形例的运算电路12的距离图像生成单元38使用通过距离计算参照信号选择单元37选择的距离计算参照信号，与所判定的各个区Z1～Z12对应地使用下述式来计算对象物S的距离L。需要说明的是，在下述式中c表示光速。
区Z1：L＝(1/2)cT0{(－QD/QH)+1}，
区Z2：L＝(1/2)cT0{(－QA/QI)+2}，
区Z3：L＝(1/2)cT0{(－QB/QJ)+3}，
区Z4：L＝(1/2)cT0{(－QC/－QH)+4}，
区Z5：L＝(1/2)cT0{(QE/－QI)+5}，
区Z6：L＝(1/2)cT0{(QF/－QK)+6}，
区Z7：L＝(1/2)cT0{(QG/－QL)+7}，
区Z8：L＝(1/2)cT0{(－QD/QH)+8}，
区Z9：L＝(1/2)cT0{(－QA/QI)+9}，
区Z10：L＝(1/2)cT0{(－QB/QJ)+10}，
区Z11：L＝(1/2)cT0{(－QC/－QH)+11}，
区Z12：L＝(1/2)cT0{(QE/－QI)+12}
需要说明的是，在本变形例中，将两个脉冲光的脉冲的振幅(光强度)设定为相同，但也可以改变两个脉冲光的振幅，例如，将第一脉冲光的振幅设定为小于第二脉冲光的振幅。
在此，在上述实施方式中，距离计算单元通过计算第一至第M检测信号中的两个检测信号的差与信号成分的合计值的比，而求出距离计算参照值，根据距离计算参照值与规定的第二阈值的比较结果来判断距离计算参照值是否有效，在距离计算参照值有效的情况下，也可以基于距离计算参照值来计算距离。在该情况下，能够适当地判断对象物是否位于可测定范围外，能够基于该判断结果高精度地计算距离。
另外，距离计算单元通过计算第一至第M检测信号中的一组检测信号的的差与信号成分的合计值的比，而求出第一距离计算参照值，通过计算第一至第M检测信号之中的另一组检测信号的差与信号成分的合计值之比，求出第二距离计算参照值，根据第一距离计算参照值与规定的第三阈值的比较结果，也可以选择第一距离计算参照值或第二距离计算参照值中的一个来计算距离。在该情况下，能够与对象物所在的范围对应地利用适当的参照值来计算距离，其结果是，无论对象物的位置如何，都能够高精度地生成图像信号。
另外，像素电路部还可以具有：用于将蓄积于光电转换区域的电荷排出的电荷排出区域；用于施加在光电转换区域与电荷排出区域之间的用于电荷转发的控制脉冲的控制电极。由此，能够在未施加第一至第M控制脉冲的期间不将在光电转换区域内产生的电荷向第一至第M电荷读出区域转发。
并且，距离计算单元也可以生成表示距离的计算是否无效的识别值。在该情况下，能够容易地判定距离计算是否有效。
并且，电荷转发控制单元、电荷转发控制单元与第一至第M控制电极之间的电路、以及电荷转发控制单元与光源控制单元之间的电路的一部分也可以形成于与像素电路部相同的半导体上或者相对于像素电路部层叠的半导体上。在该情况下，能够容易提高距离计算的分辨率。
并且，像素电路部也可以包含排列成二维阵列状的影像传感器。根据该结构，能够与对象物的位置无关地生成包含高精度的二维距离信息的距离图像。
工业实用性
本发明的一个方面将针对每个像素生成包含距离信息的距离图像的距离图像测定装置以及距离图像测定方法作为使用用途，无论对象物的位置如何，都能够生成高精度的图像信号。
附图标记的说明
10、10A：距离图像传感器(距离图像测定装置)、11：光源、12：运算电路、13：像素电路(像素电路部)、21：光电转换区域、221～224：电荷读出区域、241～244：控制电极、261～264：电压检测单元、31：光源控制单元、32、32A：电荷转发控制单元、33、33A：距离数据有效性判定信号生成单元、34、34A：距离数据有效性判定单元、35：无效像素识别值生成单元、36、36A：距离计算参照信号生成单元、37、37A：距离计算参照信号选择单元、38：距离图像生成单元。

Claims (10)

1.一种距离图像测定装置，其中，
具备：
光源，产生脉冲光；
光源控制单元，以在1帧期间内反复产生具有第一持续时间的所述脉冲光的方式控制所述光源；
像素电路部，其具有：光电转换区域，将光转换为电荷；第一至第M(M是三以上的整数)电荷读出区域，其接近所述光电转换区域且互相分离地设置；以及第一至第M控制电极，其与所述光电转换区域和所述第一至第M电荷读出区域分别对应地设置，用于施加在所述光电转换区域与所述第一至第M电荷读出区域之间的用于电荷转发的第一至第M控制脉冲；
电荷转发控制单元，其与所述光源控制单元的所述脉冲光的产生对应，在按照所述第一持续时间以上的第二持续时间对所述第一控制电极施加所述第一控制脉冲之后，按照所述第二持续时间对所述第二至第M控制电极依次施加所述第二至第M控制脉冲；
电压检测单元，在所述电荷转发控制单元施加所述第一至第M控制脉冲后，读出所述像素电路部的所述第一至第M电荷读出区域的电压作为第一至第M检测信号；以及
距离计算单元，基于所述第一至第M检测信号反复计算距离，
所述距离计算单元基于所述第一至第M检测信号来计算从去除了所述第一至第M检测信号中的背景光的所述脉冲光产生的电荷的信号成分的合计值，在所述信号成分的合计值超过规定的第一阈值的情况下，使用规定的计算式根据所述第一至第M检测信号来计算所述距离，在所述信号成分的合计值未超过所述第一阈值的情况下，使所述距离的计算无效。
2.如权利要求1所述的距离图像测定装置，其中，
所述距离计算单元通过计算所述第一至第M检测信号中的两个检测信号的差与所述信号成分的合计值的比，从而求出距离计算参照值，根据所述距离计算参照值与规定的第二阈值的比较结果，判断所述距离计算参照值是否为有效，在所述距离计算参照值为有效的情况下，基于所述距离计算参照值来计算所述距离。
3.如权利要求1或2所述的距离图像测定装置，其中，
所述距离计算单元通过计算所述第一至第M的检测信号中的一组检测信号的差与所述信号成分的合计值的比，从而求出第一距离计算参照值，通过计算所述第一至第M检测信号中的另一组检测信号的差与所述信号成分的合计值的比，从而求出第二距离计算参照值，根据所述第一距离计算参照值与规定的第三阈值的比较结果，选择所述第一距离计算参照值或所述第二距离计算参照值中的一个来计算所述距离。
4.如权利要求1至3中任一项所述的距离图像测定装置，其中，
所述像素电路部还具有：电荷排出区域，用于将蓄积于所述光电转换区域的电荷排出；以及控制电极，用于施加在所述光电转换区域与所述电荷排出区域之间的用于电荷转发的控制脉冲。
5.如权利要求1至4中任一项所述的距离图像测定装置，其中，
所述距离计算单元生成表示所述距离的计算是否无效的识别值。
6.如权利要求1至5中任一项所述的距离图像测定装置，其中，
所述电荷转发控制单元、所述电荷转发控制单元与所述第一至第M控制电极之间的电路、以及所述电荷转发控制单元与所述光源控制单元之间的电路的一部分形成于与所述像素电路部相同的半导体上或者相对于所述像素电路部层叠的半导体上。
7.如权利要求1至6中任一项所述的距离图像测定装置，其中，
所述像素电路部包括排列为二维阵列状的影像传感器。
8.一种距离图像测定方法，其中，
包括：
光源控制步骤，光源控制单元以在1帧期间内反复产生具有第一持续时间的所述脉冲光的方式控制光源；
电荷转发控制步骤，使用像素电路部，电荷转发控制单元与所述光源控制单元的所述脉冲光的产生对应，在按照所述第一持续时间以上的第二持续时间对第一控制电极施加用于控制电荷的转发的第一控制脉冲之后，按照所述第二持续时间对第二至第M控制电极依次施加用于控制电荷的转发的第二至第M控制脉冲，其中，所述像素电路部具有：将光转换为电荷的光电转换区域；接近所述光电转换区域且互相分离地设置的第一至第M(M是3以上的整数)的电荷读出区域；以及与所述光电转换区域和所述第一至第M电荷读出区域对应地设置的所述第一至第M控制电极；
电压检测步骤，电荷检测单元在所述电荷转发控制单元施加所述第一至第M控制脉冲后，读出所述像素电路部的所述第一至第M电荷读出区域的电压作为第一至第M检测信号；以及
距离计算步骤，距离计算单元基于所述第一至第M检测信号反复计算，
在所述距离计算步骤中，基于所述第一至第M检测信号来计算从去除了所述第一至第M检测信号中的背景光的所述脉冲光产生的电荷的信号成分的合计值，在所述信号成分的合计值超过规定的第一阈值的情况下，使用规定的计算式根据所述第一至第M检测信号来计算所述距离，在所述信号成分的合计值未超过所述第一阈值的情况下，使所述距离的计算无效。
9.如权利要求8所述的距离图像测定方法，其中，
在所述距离计算步骤中，通过计算所述第一至第M检测信号中的两个检测信号的差与所述信号成分的合计值的比，从而求出距离计算参照值，根据所述距离计算参照值与规定的第二阈值的比较结果，判断所述距离计算参照值是否为有效，在所述距离计算参照值为有效的情况下，基于所述距离计算参照值来计算所述距离。
10.如权利要求8或9所述的距离图像测定方法，其中，
在所述距离计算步骤中，通过计算所述第一至第M检测信号中的一组检测信号的差与所述信号成分的合计值的比，从而求出第一距离计算参照值，通过计算所述第一至第M检测信号中的另一组检测信号的差与所述信号成分的合计值的比，从而求出第二距离计算参照值，根据所述第一距离计算参照值与规定的第三阈值的比较结果，选择所述第一距离计算参照值或所述第二距离计算参照值中的一个来计算所述距离。
CN201880050969.6A 2017-08-08 2018-08-07 距离图像测定装置以及距离图像测定方法 Active CN111033315B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-153455 2017-08-08
JP2017153455 2017-08-08
PCT/JP2018/029624 WO2019031510A1 (ja) 2017-08-08 2018-08-07 距離画像測定装置及び距離画像測定方法

Publications (2)

Publication Number Publication Date
CN111033315A true CN111033315A (zh) 2020-04-17
CN111033315B CN111033315B (zh) 2023-07-21

Family

ID=65272319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880050969.6A Active CN111033315B (zh) 2017-08-08 2018-08-07 距离图像测定装置以及距离图像测定方法

Country Status (4)

Country Link
US (1) US11442169B2 (zh)
JP (1) JP7198507B2 (zh)
CN (1) CN111033315B (zh)
WO (1) WO2019031510A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7194443B2 (ja) * 2017-10-20 2022-12-22 国立大学法人静岡大学 距離画像測定装置及び距離画像測定方法
JP7464260B2 (ja) 2020-03-23 2024-04-09 国立大学法人静岡大学 距離画像センサ
EP4283253A1 (en) 2021-01-21 2023-11-29 Toppan Inc. Distance image capturing device and distance image capturing method

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU8876682A (en) * 1981-09-25 1983-03-31 Awa Defence Industries Pty. Limited Dual station direction finder
JPH08152474A (ja) * 1994-09-28 1996-06-11 Nikon Corp 距離測定装置
US5699151A (en) * 1994-06-28 1997-12-16 Mitsubishi Denki Kabushiki Kaisha Distance measurement device
JP2006064641A (ja) * 2004-08-30 2006-03-09 Omron Corp 光センサおよび測距方法
JP2006105694A (ja) * 2004-10-01 2006-04-20 Matsushita Electric Works Ltd 距離画像センサ
US20060157643A1 (en) * 2004-04-12 2006-07-20 Canesta, Inc. Method and system to enhance differential dynamic range and signal/noise in CMOS range finding systems using differential sensors
CN1842723A (zh) * 2004-09-17 2006-10-04 松下电工株式会社 距离图像传感器
JP2007132848A (ja) * 2005-11-11 2007-05-31 Sharp Corp 光学式測距装置
CN1991407A (zh) * 2005-10-28 2007-07-04 夏普株式会社 光学式测距装置
WO2009025370A1 (ja) * 2007-08-22 2009-02-26 Hamamatsu Photonics K.K. 測距装置
JP2010025906A (ja) * 2008-07-24 2010-02-04 Panasonic Electric Works Co Ltd 距離画像センサ
JP2011022088A (ja) * 2009-07-17 2011-02-03 Panasonic Electric Works Co Ltd 空間情報検出装置
JP2011022089A (ja) * 2009-07-17 2011-02-03 Panasonic Electric Works Co Ltd 空間情報検出装置
CN102057295A (zh) * 2008-05-09 2011-05-11 布鲁塞尔自由大学 具有背景辐射抑制的tof测距
CN102265178A (zh) * 2008-12-25 2011-11-30 株式会社拓普康 距离测定装置及距离测定方法
CN102378920A (zh) * 2009-02-27 2012-03-14 松下电工株式会社 测距设备
WO2012115083A1 (ja) * 2011-02-21 2012-08-30 パナソニック株式会社 空間情報検出装置
CN102662176A (zh) * 2005-07-04 2012-09-12 株式会社尼康美景 距离测量设备
CN102694998A (zh) * 2011-03-24 2012-09-26 三星电子株式会社 深度传感器、深度信息误差补偿方法及信号处理系统
CN103760567A (zh) * 2014-01-27 2014-04-30 中国科学院半导体研究所 一种具有测距功能的被动成像系统及其测距方法
JP2015108539A (ja) * 2013-12-04 2015-06-11 三菱電機株式会社 レーザレーダ装置
CN104884972A (zh) * 2012-11-27 2015-09-02 E2V半导体公司 利用深度信息和图像传感器来产生图像的方法
US20170171485A1 (en) * 2014-02-07 2017-06-15 National University Corporation Shizuoka Universit Y Charge modulation element and solid-state imaging device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5585903B2 (ja) 2008-07-30 2014-09-10 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
DE102009037596B4 (de) 2009-08-14 2014-07-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Pixelstruktur, System und Verfahren zur optischen Abstandsmessung sowie Steuerschaltung für die Pixelstruktur
JP5984018B2 (ja) * 2013-02-21 2016-09-06 ソニー株式会社 固体撮像素子、および撮像装置
TWI644568B (zh) * 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU8876682A (en) * 1981-09-25 1983-03-31 Awa Defence Industries Pty. Limited Dual station direction finder
US5699151A (en) * 1994-06-28 1997-12-16 Mitsubishi Denki Kabushiki Kaisha Distance measurement device
JPH08152474A (ja) * 1994-09-28 1996-06-11 Nikon Corp 距離測定装置
US20060157643A1 (en) * 2004-04-12 2006-07-20 Canesta, Inc. Method and system to enhance differential dynamic range and signal/noise in CMOS range finding systems using differential sensors
JP2006064641A (ja) * 2004-08-30 2006-03-09 Omron Corp 光センサおよび測距方法
CN1842723A (zh) * 2004-09-17 2006-10-04 松下电工株式会社 距离图像传感器
JP2006105694A (ja) * 2004-10-01 2006-04-20 Matsushita Electric Works Ltd 距離画像センサ
CN102662176A (zh) * 2005-07-04 2012-09-12 株式会社尼康美景 距离测量设备
CN1991407A (zh) * 2005-10-28 2007-07-04 夏普株式会社 光学式测距装置
JP2007132848A (ja) * 2005-11-11 2007-05-31 Sharp Corp 光学式測距装置
WO2009025370A1 (ja) * 2007-08-22 2009-02-26 Hamamatsu Photonics K.K. 測距装置
CN102057295A (zh) * 2008-05-09 2011-05-11 布鲁塞尔自由大学 具有背景辐射抑制的tof测距
JP2010025906A (ja) * 2008-07-24 2010-02-04 Panasonic Electric Works Co Ltd 距離画像センサ
CN102265178A (zh) * 2008-12-25 2011-11-30 株式会社拓普康 距离测定装置及距离测定方法
CN102378920A (zh) * 2009-02-27 2012-03-14 松下电工株式会社 测距设备
JP2011022089A (ja) * 2009-07-17 2011-02-03 Panasonic Electric Works Co Ltd 空間情報検出装置
JP2011022088A (ja) * 2009-07-17 2011-02-03 Panasonic Electric Works Co Ltd 空間情報検出装置
WO2012115083A1 (ja) * 2011-02-21 2012-08-30 パナソニック株式会社 空間情報検出装置
CN102694998A (zh) * 2011-03-24 2012-09-26 三星电子株式会社 深度传感器、深度信息误差补偿方法及信号处理系统
CN104884972A (zh) * 2012-11-27 2015-09-02 E2V半导体公司 利用深度信息和图像传感器来产生图像的方法
JP2015108539A (ja) * 2013-12-04 2015-06-11 三菱電機株式会社 レーザレーダ装置
CN103760567A (zh) * 2014-01-27 2014-04-30 中国科学院半导体研究所 一种具有测距功能的被动成像系统及其测距方法
US20170171485A1 (en) * 2014-02-07 2017-06-15 National University Corporation Shizuoka Universit Y Charge modulation element and solid-state imaging device

Also Published As

Publication number Publication date
WO2019031510A1 (ja) 2019-02-14
CN111033315B (zh) 2023-07-21
JP7198507B2 (ja) 2023-01-04
US20200243585A1 (en) 2020-07-30
JPWO2019031510A1 (ja) 2020-08-27
US11442169B2 (en) 2022-09-13

Similar Documents

Publication Publication Date Title
CN111226434B (zh) 距离图像测定装置以及距离图像测定方法
JP6609980B2 (ja) 光飛行時間測定装置及び光学的測距装置
EP2629330B1 (en) Range sensor and range image sensor
US20180259647A1 (en) Imaging device and solid-state imaging element used in same
US7924411B2 (en) 3-D imaging system
CN111033315A (zh) 距离图像测定装置以及距离图像测定方法
US20110157354A1 (en) Distance image sensor and method for generating image signal by time-of-flight method
JP2007121116A (ja) 光学式測距装置
JP6265346B2 (ja) 距離計測装置
JP6481405B2 (ja) 演算装置
WO2020145035A1 (ja) 距離測定装置及び距離測定方法
CN111208528A (zh) 飞时测距传感器以及飞时测距方法
US20220252730A1 (en) Time-of-flight imaging apparatus and time-of-flight imaging method
CN107272010B (zh) 距离传感器及其距离测量方法、3d图像传感器
CN111090100B (zh) 飞行时间测距装置以及飞行时间测距方法
CN113287037B (zh) 距离图像测定装置、距离图像测定系统以及距离图像测定方法
WO2020262476A1 (ja) 距離画像測定装置
JP7425702B2 (ja) 距離計測装置、及び距離計測方法
CN112034471A (zh) 飞行时间测距装置以及飞行时间测距方法
JP2018109607A (ja) 距離判定のための受信デバイス、センサデバイス、及び方法
CN115136023A (zh) 距离测定装置及距离测定方法
JP3979443B2 (ja) 強度変調光を用いた空間情報の検出装置
JP2006005898A (ja) 時間相関検出型イメージセンサおよび画像解析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant