CN107850669B - 测距摄像装置及固体摄像装置 - Google Patents

测距摄像装置及固体摄像装置 Download PDF

Info

Publication number
CN107850669B
CN107850669B CN201680043983.4A CN201680043983A CN107850669B CN 107850669 B CN107850669 B CN 107850669B CN 201680043983 A CN201680043983 A CN 201680043983A CN 107850669 B CN107850669 B CN 107850669B
Authority
CN
China
Prior art keywords
exposure
signal
distance
light emission
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680043983.4A
Other languages
English (en)
Other versions
CN107850669A (zh
Inventor
岸本昌也
高野遥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuvoton Technology Corp Japan
Original Assignee
Nuvoton Technology Corp Japan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nuvoton Technology Corp Japan filed Critical Nuvoton Technology Corp Japan
Publication of CN107850669A publication Critical patent/CN107850669A/zh
Application granted granted Critical
Publication of CN107850669B publication Critical patent/CN107850669B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/148—Charge coupled imagers
    • H01L27/14831—Area CCD imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)

Abstract

测距摄像装置具有：驱动控制部，输出发光信号及曝光信号；光源部；固体摄像部，将反射光曝光；TOF运算部，使用摄像信号运算到对象物体的距离；驱动控制部将在一个曝光信号的曝光期间结束之前其他的至少一个曝光信号的曝光期间开始的第一曝光信号群周期性地反复输出，还输出具有1个以上的曝光信号都为非曝光期间的死区期间的第二曝光信号群；TOF运算部使用由第一曝光信号群得到的第一摄像信号计算第一距离值，使用由第二曝光信号群得到的第二摄像信号计算第二距离值，基于第一距离值和第二距离值运算距离。

Description

测距摄像装置及固体摄像装置
技术领域
本发明涉及测距摄像装置及在该测距摄像装置中使用的固体摄像装置。
背景技术
在检测物体的多个方式中，已知有利用光到测量对象物(对象物体)往返的飞行时间进行测距的TOF(Time Of Flight)方式。
在TOF方式中，测距精度(测距分辨率)和距离范围依存于照射的光的频率(发光期间的长度)，照射的光的频率越高越能够进行高精度的测距，但可测距的距离范围变窄。
例如，作为TOF方式，已知有通过照射多个不同频率的光，在保持照射了较高的频率的光那样的测距精度的同时，进行照射了较低的频率的光那样的更大的距离范围的测距的技术(例如，参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特表2013－538342号公报
发明内容
发明要解决的课题
通常，在TOF的测距运算中，对于来自对象物体的反射光，取得至少2个信号，通过根据所取得的信号量计算发光与受光的时间差或相位差(光到对象物体往返所需要的时间)而计算测距运算。但是，在通过这样的测距运算计算出的测量距离中，对于实际距离，发生周期性的折叠。
所以，根据专利文献1的结构，研究了通过照射多个不同频率的光而进行测距运算来确定折叠的位置，从而实现测距精度的维持及测距范围的大范围化。但是，由于折叠在各频率下发生，所以在上述专利文献1的结构中，为了精度良好地确定折叠的位置，需要照射许多不同频率的光。此外，随之在测距运算中需要的信号的数量增加。因此，在上述专利文献1的结构中，存在这些信号的读出需要的时间增加、帧速率下降的课题。
鉴于上述课题，本发明的目的是提供一种在抑制测距运算所需要的信号数的同时、能够实现测距精度的维持及测距范围的大范围化的测距摄像装置及固体摄像装置。
用来解决课题的手段
为了解决上述课题，有关本发明的一技术方案的测距摄像装置，是通过照射光并将来自对象物体的反射光受光来测量到该对象物体的距离的测距摄像装置，具有：控制部，输出发光信号及曝光信号；光源部，在上述发光信号表示的定时，照射上述光；固体摄像装置，通过在上述曝光信号表示的定时将上述反射光曝光，输出表示曝光量的摄像信号；以及运算部，使用上述摄像信号运算到上述对象物体的距离；上述控制部，将第一曝光信号群周期性地反复输出，所述第一曝光信号群是由相对于上述发光信号延迟时间相互不同的多个上述曝光信号构成的曝光信号群，而且是在一个上述曝光信号的曝光期间结束之前，其他的至少一个上述曝光信号的曝光期间开始的曝光信号群；还输出第二曝光信号群，所述第二曝光信号群是由相对于上述发光信号延迟时间相互不同的1个以上的上述曝光信号构成的曝光信号群，而且是具有该1个以上的曝光信号都为非曝光期间的死区期间的曝光信号群；上述运算部使用由上述第一曝光信号群得到的第一摄像信号计算第一距离值，使用由上述第二曝光信号群得到的第二摄像信号计算第二距离值，基于上述第一距离值和上述第二距离值运算上述距离。
发明效果
根据有关本发明的测距摄像装置等，能够在抑制测距运算所需要的信号数的同时，实现测距精度的维持及测距范围的大范围化。
附图说明
图1是表示有关实施方式1的测距摄像装置的概略结构的一例的功能框图。
图2是表示CCD型的固体摄像元件的功能的概略结构图。
图3是说明检测有关实施方式1的测距摄像装置的曝光量的定时的一例的图。
图4A是表示有关实施方式1的测距摄像装置的动作的时序图。
图4B是表示有关实施方式1的测距摄像装置的动作的时序图。
图5是表示实施方式1的测量距离与到对象物体的实际的实际距离的关系的曲线图。
图6是表示实施方式1的对于距离值的噪声降低滤波处理的一例的图。
图7是表示有关实施方式1的变形例的测距摄像装置的概略结构的一例的功能框图。
图8是表示有关实施方式2的测距摄像装置的概略结构的一例的功能框图。
图9A是表示有关实施方式2的测距摄像装置的动作的时序图。
图9B是表示有关实施方式2的测距摄像装置的动作的时序图。
图10是表示有关实施方式2的测距摄像装置的动作的另一例的时序图。
图11是表示有关实施方式2的测距摄像装置的动作的另一例的时序图。
图12是表示有关实施方式2的测距摄像装置的动作的另一例的时序图。
图13是表示有关其他实施方式的测距摄像装置的动作的时序图。
具体实施方式
以下，参照附图对有关本发明的实施方式的测距摄像装置进行说明。另外，以下的实施方式都是表示本发明的一具体例，数值、形状、材料、构成要素、构成要素的配置位置及连接形态等是一例，并不限定本发明。
(实施方式1)
图1是表示有关实施方式1的测距摄像装置100的概略结构的一例的功能框图。该图所示的测距摄像装置100通过照射出光(照射光)并接收来自对象物体OB的反射光，测量到对象物体OB的距离。如该图所示，测距摄像装置100具备光源部1、固体摄像部(固体摄像装置)2、驱动控制部4和TOF运算部3。另外，在该图中，还表示了由测距摄像装置100测量来自该测距摄像装置100的距离的对象物体OB。
光源部1是按照发光信号表示的定时来照射光的光源。在本实施方式中，光源部1按照接收到由驱动控制部4产生的发光信号的定时，对对象物体OB进行光照射。例如，光源部1具有驱动电路、电容器及发光元件，通过将保持在电容器中的电荷向发光二极管供给而发光。作为发光元件，也可以使用激光二极管或发光二极管(LED)等的其他发光元件。
驱动控制部4是输出发光信号及曝光信号的控制部。具体而言，驱动控制部4产生指示向测量对象物(对象物体OB)进行光照射的发光信号、和指示来自该对象物体OB的反射光的曝光的曝光信号。驱动控制部4例如由微型计算机等的运算处理装置构成。微型计算机包括处理器(微处理器)、存储器等，通过保存在存储器中的驱动程序被处理器执行，输出发光信号及曝光信号。另外，驱动控制部4也可以使用FPGA(Field－Programmable GateArray，现场可编程门阵列)或ISP(In－System Programming，在系统可编程)等，也可以由1个硬件构成，也可以由多个硬件构成。关于从驱动控制部4输出的发光信号及曝光信号的详细情况后述。
固体摄像部2是通过按照曝光信号表示的定时将反射光曝光、输出表示曝光量的RAW信号(摄像信号)的固体摄像装置。另外，RAW信号有时也被称作RAW数据，摄像信号有时也被称作摄像信息，所以下文中关于这些名称不特别区别地进行记载。固体摄像部2在本实施方式中，对包括对象物体OB的区域，按照由驱动控制部4产生的曝光信号表示的定时进行多次曝光，得到与多次曝光量的总和对应的RAW数据(摄像信息)。固体摄像部2例如具有照相机透镜、固体摄像元件及A/D变换器等的制作RAW数据并输出的电路。关于固体摄像部2具有的固体摄像元件的详细情况后述。
TOF运算部3是使用RAW数据运算到对象物体OB的距离的运算部。具体而言，TOF运算部3根据基于从固体摄像部2接受到的RAW数据的信号，运算作为到对象物体OB的距离信息的TOF信号(距离信号)并输出。TOF运算部3与驱动控制部4同样，例如由微型计算机等的运算处理装置构成。TOF运算部3通过由处理器执行保存在存储器中的运算程序而运算TOF信号。另外，TOF运算部3与驱动控制部4同样，也可以使用FPGA或ISP等，也可以由1个硬件构成，也可以由多个硬件构成。关于由TOF运算部3进行的运算距离的处理的详细情况后述。
接着，对固体摄像部2的固体摄像元件的一例进行说明。
图2是表示可以在图1的固体摄像部2中使用的CCD(Charge Coupled Device)型的固体摄像元件的功能的概略结构图。如该图所示，CCD型固体摄像元件具备光电二极管(PD：Photodiode)20、垂直转送部21、水平转送部22和信号电荷检测部23。光电二极管20将接收到的光变换为电荷。垂直转送部21由多个门(gate)构成，将从光电二极管20读出的电荷依次向垂直方向转送。水平转送部22将从垂直转送部21接受到的电荷依次向水平方向转送。信号电荷检测部23将从水平转送部22接受到的电荷依次检测，变换为电压信号并输出。
该固体摄像元件在将从光电二极管20向垂直转送部21的读出门打开的状态下，按照曝光信号控制基板电压，在曝光信号为Low(低)的期间中将光电二极管20曝光，将通过该曝光产生的电荷储存到垂直转送部21中。
即，通过作为图1的固体摄像部2而使用CCD图像传感器(CCD型固体摄像元件)，能够进行将多个光电二极管20一起复位的动作、所谓的全局复位，能够实现更高精度的测距。
接着，对本实施方式的测距摄像装置100的驱动方法进行说明。以下说明的驱动方法由驱动控制部4等执行。
图3是说明测距摄像装置100的检测曝光量的定时的一例的图。图3(a)表示1帧中的定时的例子。图3(b)表示发光信号
Figure BDA0001559799450000051
期间的第一发光曝光期间中的曝光量B0的曝光定时，图3(c)表示发光信号
Figure BDA0001559799450000052
期间的第二发光曝光期间中的曝光量B1的曝光定时，图3(d)表示发光信号
Figure BDA0001559799450000053
期间的第三发光曝光期间中的曝光量B2的曝光定时。
如图3(a)所示，在本实施方式中，在1帧期间中，包括发光期间(这里是High(高)期间)比较短的发光信号
Figure BDA0001559799450000054
被作为发光信号输出的发光信号
Figure BDA0001559799450000055
期间、发光期间比较长的发光信号
Figure BDA0001559799450000056
被作为发光信号输出的发光信号
Figure BDA0001559799450000061
期间、和信号输出期间。
另外，关于发光信号
Figure BDA0001559799450000062
期间及发光信号
Figure BDA0001559799450000063
期间中的发光信号及曝光信号的事项，由于除了发光期间的长短及后述的死区期间以外大致是同样的，所以以下主要对发光信号
Figure BDA0001559799450000064
期间进行说明，关于发光信号
Figure BDA0001559799450000065
期间的说明省略。
首先，如图3(a)及(b)所示，在发光信号
Figure BDA0001559799450000066
期间的第一发光曝光期间中，在曝光信号
Figure BDA0001559799450000067
(第一曝光信号)为Low的期间中将光电二极管20曝光，将通过该曝光产生的电荷向垂直转送部21储存。将该动作在本实施方式中反复进行n次，在第一发光曝光期间结束的时点，控制垂直转送部21的门，向不存在读出门的势阱(packet)转送上述电荷。
这里，所谓第一发光曝光期间，是相对于光源部1接收到发光信号而发光的定时，固体摄像部2经由第一延迟时间接收到曝光信号而进行曝光的期间。在本实施方式中，曝光信号
Figure BDA0001559799450000068
为Low的期间的长度被设定为发光信号期间的长度(发光信号为High的期间，即发光期间TB)的2倍的2×TB，曝光信号
Figure BDA0001559799450000069
相对于发光信号的延迟时间被设定为0。即，第一曝光信号期间被设定为被发送发光信号(是高电平)的期间。
接着，如图3(a)及图3(c)所示，在发光信号
Figure BDA00015597994500000610
期间中的第二发光曝光期间中，在曝光信号
Figure BDA00015597994500000611
(第二曝光信号)为Low的期间中将光电二极管20曝光，将通过该曝光产生的电荷储存到垂直转送部21中。将该动作在本实施方式中反复n次，在第二发光曝光期间结束的时点，控制垂直转送部21的门，向不存在读出门的势阱转送上述电荷。
这里，所谓第二发光曝光期间，是相对于光源部1接收到发光信号而发光的定时，固体摄像部2经过与第一延迟时间不同的第二延迟时间接收到曝光信号而进行曝光的期间。在本实施方式中，第二曝光信号期间的长度被设定为作为发光信号期间的长度的2倍、与第一曝光信号期间的长度相同的2×TB，曝光信号
Figure BDA00015597994500000612
相对于发光信号的延迟时间被设定为将第一延迟时间0与发光信号期间相加的TB。
接着，如图3(a)及图3(d)所示，在发光信号
Figure BDA00015597994500000613
期间中的第三发光曝光期间中，在曝光信号
Figure BDA00015597994500000614
(第三曝光信号)为Low的期间中将光电二极管20曝光，将通过该曝光产生的电荷向垂直转送部21储存。将该动作在本实施方式中反复n次，在第三发光曝光期间结束的时点，控制垂直转送部21的门而进行转送，以使通过曝光信号
Figure BDA00015597994500000713
曝光后的电荷来到存在读出门的势阱。
这里，所谓第三发光曝光期间，是相对于光源部1接收到发光信号而发光的定时，固体摄像部2经过与第一及第二延迟时间不同的第三延迟时间接收到曝光信号而进行曝光的期间。在本实施方式中，第三曝光信号期间的长度被设定为作为发光信号期间的长度的2倍、与第一及第二曝光信号期间的长度相同的2×TB，曝光信号
Figure BDA0001559799450000071
相对于发光信号的延迟时间被设定为将第一延迟时间0与发光信号期间的2倍的2×TB相加的2×TB。此外，在本实施方式中，在发光信号
Figure BDA0001559799450000072
期间中的第三发光曝光期间中，不进行发光动作。即，固体摄像部2相对于假定光源部1接收到发光信号而发光的情况下的定时经过第三延迟时间而进行曝光。
然后，将该一系列的动作(发光信号
Figure BDA0001559799450000073
期间及发光信号
Figure BDA0001559799450000074
期间中的动作)在本实施方式中反复N次后，依次反复进行垂直转送部21的转送和水平转送部22的转送，将上述电荷用信号电荷检测部23变换为电压信号并输出。
由此，作为发光信号而将在接收来自对象物体OB的反射光的曝光信号的定时分别不同的多个曝光期间中得到的信号储存的机构，可以利用已经在垂直转送部21中构成的多个势阱。由此，不需要追加形成信号储存机构，如果是相同的面积则能够将光电二极管20形成得较大，能够使饱和感度变大，最大受光量变大，能够实现高精度的测距。
接着，使用图4A～图5对由有关本实施方式的测距摄像装置100进行的测距摄像的机理进行说明。
图4A及图4B是表示有关本实施方式的测距摄像装置100的动作的时序图，是表示曝光信号
Figure BDA0001559799450000075
的比较关系的图。具体而言，在图4A中表示了发光信号
Figure BDA0001559799450000076
期间中的照射光(发光信号
Figure BDA0001559799450000077
)、反射光及曝光信号
Figure BDA0001559799450000078
的定时。此外，在图4B中，表示了发光信号
Figure BDA0001559799450000079
期间中的照射光(发光信号
Figure BDA00015597994500000710
)、反射光及曝光信号
Figure BDA00015597994500000711
的定时。
另外，在这些图中，关于通过对应的曝光信号
Figure BDA00015597994500000712
得到的曝光量也用阴影表示。此外，在这些图中表示的1T是时钟单位，在系统(测距摄像装置100)的驱动频率是50MHz的情况下，1T期间为20纳秒的时间单位。
首先，驱动控制部4输出发光信号及曝光信号，光源部1在发光信号为High时照射光。固体摄像部2在曝光信号为Low的期间中，进行由对象物体OB带来的该光的反射光的曝光。由此，该Low期间的曝光量的总和被光电变换。并且，TOF运算部3基于固体摄像部2的电压输出的RAW数据(摄像信号)进行距离运算，作为距离图像输出。
这里，发光信号与曝光信号的关系如图4A及图4B所示，曝光信号
Figure BDA0001559799450000081
对应于发光信号
Figure BDA0001559799450000082
曝光信号
Figure BDA0001559799450000083
对应于发光信号
Figure BDA0001559799450000084
即，关于哪个发光信号，3个样式的曝光信号都能对应。即，发光信号
Figure BDA0001559799450000085
是作为曝光信号
Figure BDA0001559799450000086
的延迟的基准的第一发光信号，发光信号
Figure BDA0001559799450000087
是作为曝光信号
Figure BDA0001559799450000088
的延迟的基准的第二发光信号。
这里，曝光信号
Figure BDA0001559799450000089
相互以发光信号
Figure BDA00015597994500000810
的发光周期的1/3的长度的时间差进行曝光，成为相对于反射光至少曝光信号
Figure BDA00015597994500000811
的1个总是为曝光期间的曝光信号群(以下，称作曝光信号群A)。即，曝光信号群A是由相对于发光信号(这里是发光信号
Figure BDA00015597994500000812
)延迟时间相互不同的多个曝光信号构成的曝光信号群，是在一个曝光信号的曝光期间结束之前、其他的至少一个曝光信号的曝光期间开始的第一曝光信号群。这样的曝光信号群A被驱动控制部4周期性地反复输出。
此外，曝光信号
Figure BDA00015597994500000813
相互以发光信号
Figure BDA00015597994500000814
的发光周期的1/5的长度的时间差进行曝光，成为具有都为非曝光期间(非曝光状态)的死区期间的曝光信号群(以下，称作曝光信号群B)。即，曝光信号群B是由相对于发光信号(这里是发光信号
Figure BDA00015597994500000815
)延迟时间相互不同的1个以上的曝光信号(在本实施方式中，由多个曝光信号)构成的曝光信号群，是具有该1个以上的曝光信号都为非曝光期间的死区期间的第二曝光信号群。
具体而言，在本实施方式中，形成曝光信号群B的i个(i是2以上的整数)的曝光信号(这里是3个曝光信号
Figure BDA00015597994500000816
)，是延迟时间相差了发光信号
Figure BDA00015597994500000817
的发光周期的1/j(其中，满足j>i，这里j＝5)的曝光信号群。因此，曝光信号群B具有多个曝光信号都为非曝光期间的死区期间。
根据由曝光信号
Figure BDA00015597994500000818
进行的曝光控制，能够将反射光的整体曝光，检测出具有对象物体OB的反射率的信息的曝光量。此外，根据由曝光信号
Figure BDA0001559799450000091
进行的曝光控制，能够与发光信号
Figure BDA0001559799450000092
的下降同时开始曝光，检测包含与对象物体OB之间的距离信息的曝光量。此外，根据由曝光信号
Figure BDA0001559799450000093
进行的曝光控制，通过进行发光动作，能够检测作为太阳光等的背景光或暗电流成分等的偏移成分的背景光。
此外，发光信号
Figure BDA0001559799450000094
的脉冲宽度具有发光信号
Figure BDA0001559799450000095
的脉冲宽度的6倍的发光期间。因此，在发光信号
Figure BDA0001559799450000096
和发光信号
Figure BDA0001559799450000097
中，由发光信号
Figure BDA0001559799450000098
进行的测量其测距精度较高，由发光信号
Figure BDA0001559799450000099
进行的测量能够实现测距范围的更大范围化。
并且，如果设由曝光信号群A带来的曝光量为A0、A1、A2，设由曝光信号群B带来的曝光量为B0、B1、B2，设照射的发光信号
Figure BDA00015597994500000910
的脉冲宽度为TA，设照射的发光信号
Figure BDA00015597994500000911
的脉冲宽度为TB，设光速(299792458m/s)为c，设基于曝光信号群A的距离测量值(第一距离值)为Za，设基于曝光信号群B的距离测量值(第二距离值)为Zb，则通过使用曝光信号群A进行以下的式1所示的运算，能够计算出距离值Za。
这里，在式1中，
(i)在最小信号为A2的情况下(照射光与反射光的时间差是1T以内)，将信号1设为A0，将信号2设为A1，将信号3设为A2。
(ii)在最小信号为A0的情况下(照射光与反射光的时间差是2T以内)，将信号1设为A1，将信号2设为A2，将信号3设为A0。
(iii)在最小信号为A1的情况下(照射光与反射光的时间差是3T以内)，将信号1设为A2，将信号2设为A0，将信号3设为A1。
[数式1]
Figure BDA00015597994500000912
但是，由于曝光信号群A被连续地(周期性地)反复，所以在照射光(发光信号)与反射光的时间差是3T以上的情况下，如图5那样发生折叠。
图5是表示作为图4A、图4B所示的定时下的TOF运算部3的运算结果的测量距离与到对象物体OB的实际的实际距离的关系的曲线图。
如该图所示，实际上，留有式2那样的N＝0，1，2，…的不确定度。
[数式2]
Figure BDA0001559799450000101
另一方面，对于距离值Zb，通过进行以下的式3的运算，能够计算出距离值Zb。
[数式3]
Figure BDA0001559799450000102
这样，TOF运算部3使用由曝光信号群A得到的第一摄像信号(在本实施方式中，表示A0、A1及A2的各自的RAW数据)计算第一距离值(在本实施方式中是Za)。此外，TOF运算部3使用由曝光信号群B得到的第二摄像信号(在本实施方式中，是分别表示B0、B1及B2的的RAW数据)计算第二距离值(在本实施方式中是Zb)。并且，TOF运算部3如以下这样，基于第一距离值和第二距离值，运算到对象物体OB的距离。此外，在本实施方式中，TOF运算部3仅使用第一摄像信号及第二摄像信号中的第二摄像信号计算第二距离值。
这里，由于发光信号
Figure BDA0001559799450000103
与发光信号
Figure BDA0001559799450000104
相比发光期间较长，所以由发光信号
Figure BDA0001559799450000105
得到的测距精度比由发光信号
Figure BDA0001559799450000106
得到的测距精度低。但是，曝光信号群B由于具有对反射光不进行曝光的期间，所以如图5所示，在测量距离中不发生折叠。即，在由曝光信号群B进行的测距中，将测量距离与对象物体OB的实际距离一对一地建立联系。
因此，只要取得Zb与对于各N的Za之间的差，求出其绝对值为最小的N，就能够消除由测距精度良好的发光信号
Figure BDA0001559799450000107
得到的测量距离值Za的不确定度，高精度地计算与对象物体OB的实际距离。
如以上这样，根据本实施方式，通过将曝光信号群A与曝光信号群B组合，能够确定发光信号
Figure BDA0001559799450000108
的折叠的位置(解混叠)。即，TOF运算部3使用在用Zb(基于曝光信号群B的距离测量值，即第二距离值)确定的Za(基于曝光信号群A的距离测量值，即第一距离值)中发生的折叠次数，计算到对象物体OB的距离。因此，能够在维持基于发光期间较短的发光信号
Figure BDA0001559799450000111
的测距精度的同时，实现基于发光期间较长的发光信号
Figure BDA0001559799450000112
的测距范围。
换言之，根据本实施方式，驱动控制部4以CW(Continuous Wave，连续波)方式及脉冲方式分别驱动。这里，所谓CW方式，是输出各个曝光期间连续地相连的多个曝光信号(在本实施方式中是曝光信号
Figure BDA0001559799450000113
Figure BDA0001559799450000114
)的驱动方式。此外，所谓脉冲方式，是输出各自的曝光期间不连续地相连的多个曝光信号(在本实施方式中是曝光信号
Figure BDA0001559799450000115
)的驱动方式。此外，根据本实施方式，TOF运算部3使用通过脉冲方式得到的距离信息将通过CW方式得到的距离信息解混叠。由此，通过在维持CW方式的测距精度的同时，消除CW方式的距离信息的不确定度(由折叠带来的不确定度)，能够实现测距范围的大范围化。
另外，在本实施方式中，进行控制以使发光信号
Figure BDA0001559799450000116
的发光期间成为发光信号
Figure BDA0001559799450000117
的发光期间的6倍，但发光信号
Figure BDA0001559799450000118
的发光期间与发光信号
Figure BDA0001559799450000119
的发光期间的比率可以根据测距范围来进行控制。具体而言，发光信号
Figure BDA00015597994500001110
的发光期间越短，测距精度越高，发光信号
Figure BDA00015597994500001111
的发光期间越长，测距范围越大。因此，该比率只要根据对测距摄像装置100要求的关于测距的规格来适当设定就可以。
此外，假设曝光信号群(曝光信号群A及曝光信号群B)分别由3个曝光信号构成，但曝光信号的数量并不限于此。测距摄像装置100通过使用由至少2个以上的曝光信号构成的该曝光信号群，能够进行测距运算。
此外，TOF运算部3也可以对Za及Zb的至少一方进行噪声降低滤波处理，使用该噪声降低滤波处理后的该至少一方计算到对象物体OB的距离。具体而言，在本实施方式中，TOF运算部3在通过取得Za与Zb的差分来消除Za的不确定度时，也可以对Za及Zb的各自进行噪声降低滤波处理。
图6是表示对于这样的距离值的噪声降低滤波处理的一例的图。如该图所示，TOF运算部3对以对象像素为中心的3×3像素区域进行平均处理或中值处理，例如进行将对象像素的距离值Za7替换为由平均处理或中值处理得到的计算值Za7’等的噪声降低滤波处理。TOF运算部3在将这样的噪声降低滤波处理对Za及Zb分别实施后，通过取得该处理后的Za与Zb的差，能够消除Za的不确定度。
这样，通过对Za及Zb的至少一方进行噪声降低滤波处理，能够抑制到对象物体OB的距离的误判定。具体而言，在本实施方式中，通过进行该处理，能够抑制在Za中发生的折叠次数的误判定，所以能够抑制到对象物体OB的距离的误判定。
另外，噪声降低滤波处理也可以仅对Za及Zb的一方进行，但通过对Za及Zb都进行，能够进一步抑制到对象物体OB的距离的误判定。
此外，TOF运算部3也可以对Za及Zb分别进行γ修正，通过取得γ修正后的Za与Zb的差来消除Za的不确定度。
此外，在图3中，表示了在1帧期间中、测距摄像装置100通过曝光信号群A及曝光信号群B进行曝光。但是，测距摄像装置100也可以在第1帧用曝光信号群A曝光，在第2帧用曝光信号群B曝光。即，测距摄像装置100也可以分割帧来检测曝光量。
如以上使用附图说明那样，根据本实施方式，通过将对反射光以曝光期间连续地相连的方式反复进行曝光的控制、与在曝光期间中不连续地相连的期间的曝光控制组合，能够在抑制TOF运算所需要的信号数的同时，实现保持像以高频动作那样的测距精度、且像以低频动作那样的更大的距离范围的测距。由此，能够削减信号的读出所需要的时间，实现提高了帧速率的测距摄像装置100。
即，根据本实施方式，使用第一曝光信号群A计算第一距离值(在本实施方式中是Za)，所述第一曝光信号群A是由相对于发光信号
Figure BDA0001559799450000121
延迟时间相互不同的多个曝光信号
Figure BDA0001559799450000122
构成的曝光信号群，而且是在一个曝光信号的曝光期间结束之前其他的至少一个曝光信号的曝光期间开始的曝光信号群。此外，使用第二曝光信号群B计算第二距离值(在本实施方式中是Zb)，所述第二曝光信号群B是由相对于发光信号
Figure BDA0001559799450000123
延迟时间相互不同的多个曝光信号
Figure BDA0001559799450000124
构成的曝光信号群，而且是具有该1个以上的曝光信号
Figure BDA0001559799450000125
都为非曝光期间的死区期间的曝光信号群。并且，基于第一距离值和第二距离值运算到对象物体OB的距离。
由此，能够确定在第一距离值中发生的折叠次数，所以能够在维持第一距离值的距离精度(距离分辨率)的同时，在第二距离值的距离范围中运算到对象物体OB的距离。即，能够实现测距精度的维持及测距范围的大范围化。此外，与不设置死区期间而通过连续照射许多不同频率的光来确定折叠的位置的情况相比，能够抑制在测距运算中需要的信号(摄像信号)的数量。因此，根据有关本实施方式的测距摄像装置100，能够在抑制测距运算中需要的信号数的同时，实现测距精度的维持及测距范围的大范围化。
(实施方式1的变形例)
另外，固体摄像部并不限定于CCD图像传感器，如果作为测距摄像装置而考虑其他的要求使用CMOS图像传感器(CMOS型固体摄像元件)等的其他的固体摄像元件(图像传感器)，也能够实现同样的测距摄像装置。
图7是表示这样的测距摄像装置100A的概略结构的一例的功能框图。该图所示的测距摄像装置100A与上述实施方式1的测距摄像装置大致是同样的，但代替固体摄像部2及驱动控制部4而具备固体摄像部2A及定时发生器4A(控制部)。
固体摄像部2A具有CMOS型固体摄像元件。此外，在本变形例中，固体摄像部2A为了实现测距摄像装置100A的小型化(微细化)及低耗电化等，如图7所示，与定时发生器4A及TOF运算部3一起由1个芯片构成。
(实施方式2)
以下，参照附图，对于有关实施方式2的测距摄像装置，以与实施方式1的差异点为中心进行说明。
图8是表示有关实施方式2的测距摄像装置200的概略结构的一例的功能框图。另外，在该图中，也表示了由测距摄像装置200测量距该测距摄像装置200的距离的对象物体OB。
该图所示的测距摄像装置200与图1所示的测距摄像装置100的差异是：TOF运算部203根据由曝光信号群A得到的曝光量，通过运算，计算出由B0曝光控制检测出的曝光量B0和由B2曝光控制检测出的曝光量B2。
接着，对本实施方式的测距摄像装置200的动作(驱动方法)进行说明。
图9A及图9B是表示有关本实施方式的测距摄像装置200的动作的时序图。具体而言，在图9A中表示了发光信号
Figure BDA0001559799450000141
期间中的照射光(发光信号
Figure BDA0001559799450000142
)、反射光及曝光信号
Figure BDA0001559799450000143
的定时。此外，在图9B中表示了发光信号
Figure BDA0001559799450000144
期间中的照射光(发光信号
Figure BDA0001559799450000145
)、反射光及曝光信号
Figure BDA0001559799450000146
的定时。另外，在这些图中，与图4A及图4B同样，关于由对应的曝光信号得到的曝光量也用阴影表示。
首先，对本实施方式的测距摄像装置200的基本动作简单地说明。
如图9A所示，在发光信号
Figure BDA0001559799450000147
期间中，进行与实施方式1相同的动作。
另一方面，在发光信号
Figure BDA0001559799450000148
期间中，如图9B所示，仅进行基于实施方式1的曝光信号
Figure BDA0001559799450000149
的曝光控制。
这里，在本实施方式中，TOF运算部203使用与第一摄像信号(在本实施方式中，是分别表示A0、A1及A2的RAW数据)相比信号数较少的第二摄像信号(在本实施方式中，是表示B1的RAW数据)，计算第二距离值(在本实施方式中是Zb)。具体而言，TOF运算部203使用该第一摄像信号，推测在从驱动控制部4输出了与第二曝光信号群的各曝光信号(在本实施方式中是曝光信号
Figure BDA00015597994500001410
)曝光期间相同、相对于发光信号的延迟时间不同的曝光信号(在本实施方式中，是曝光信号
Figure BDA00015597994500001411
及
Figure BDA00015597994500001412
)的情况下得到的摄像信号(在本实施方式中，是分别表示B0及B2的RAW数据)。并且，TOF运算部203使用推测出的摄像信号和该第二摄像信号计算该第二距离值。
以下，对这样的由TOF运算部203进行的、推测在从驱动控制部4输出了曝光信号
Figure BDA00015597994500001413
及
Figure BDA00015597994500001414
的情况下得到的曝光量B0、曝光量B2的方法具体地说明。
关于曝光量B0、B2，可以通过使用曝光量A0、A1、A2进行以下的式4～式6所示的运算来计算。
(i)在最小信号是A2的情况下
B0＝6×(A0+A1)，B2＝12×A2(式4)
(ii)在最小信号是A0的情况下
B0＝6×(A1+A2)，B2＝12×A0(式5)
(iii)在最小信号是A1的情况下
B0＝6×(A0+A2)，B2＝12×A1(式6)
并且，在距离值Za及Zb中，能够用与实施方式1相同的运算式计算，通过消除Za的不确定度，能够计算与被摄体的实际距离。
如以上这样，在本实施方式中，通过将曝光信号群A和基于曝光信号
Figure BDA0001559799450000151
的曝光控制组合，在得到与实施方式1相同的测距精度和测距范围的同时，能够将在测距运算中需要的信号的数量从分别表示曝光量A0、A1、A2、B0、B1、B2的6个摄像信号(RAW数据)抑制为分别表示曝光量A0、A1、A2、B1的4个摄像信号，所以能够削减读出所需要的时间，使帧速率提高。
另外，曝光信号
Figure BDA0001559799450000152
的曝光期间并不限于图9B所示的12T，例如也可以是一半的6T。图10是表示这样的曝光信号
Figure BDA0001559799450000153
的时序图。具体而言，在该图中，与图9B同样，表示了照射光、反射光及曝光信号
Figure BDA0001559799450000154
的定时和曝光量。在基于曝光信号φB1的曝光控制中，通过如图10那样使曝光期间成为一半，能够在维持与曝光信号
Figure BDA0001559799450000155
的曝光期间较长的情况相同的测距范围的同时，将混入的背景光的影响减半。
此外，曝光信号
Figure BDA0001559799450000156
的曝光期间也可以与发光信号的发光期间同步。图11是表示这样的曝光信号
Figure BDA0001559799450000157
的时序图，与图10同样，表示各种信号等的定时及曝光量。即，基于曝光信号
Figure BDA0001559799450000158
的曝光控制也可以如图11那样是使发光期间与曝光期间同步的曝光控制。
此外，曝光信号
Figure BDA0001559799450000159
只要不具有它们都为非曝光期间的死区期间就可以，相互的曝光期间也可以重叠。图12是表示这样的曝光信号
Figure BDA00015597994500001510
Figure BDA00015597994500001511
的时序图。具体而言，在该图中，与图9A同样，表示了照射光、反射光及曝光信号
Figure BDA00015597994500001512
的定时和曝光量。曝光信号
Figure BDA00015597994500001513
也可以如图12那样在曝光期间中具有重叠。在此情况下，根据曝光量A0、A1、A2的大小关系，距离值Za可以用以下的式7～式12计算。
[数式4]
Figure BDA0001559799450000161
Figure BDA0001559799450000162
Figure BDA0001559799450000163
Figure BDA0001559799450000164
Figure BDA0001559799450000165
Figure BDA0001559799450000166
并且，曝光量B0、B2可以通过进行以下的式13所示的运算来计算。
[数式5]
B0＝6{max(A0，A1，A2)-min(A0，A1，A2)}+B2 (式13)
即，在曝光量A0、A1、A2下，最大信号与最小信号的差总是为发光期间是1T的曝光量。因此，如果乘以与图10及图11中的发光期间的比率，然后加上相当于背景光成分的曝光量B2，则能够计算出曝光量B0。
此外，关于相当于背景光成分的曝光量B2，由于在曝光量A0、A1、A2下，最大信号与中间信号的和总是为发光期间2T的曝光量，最小信号与中间信号的和总是为发光期间1T的曝光量，所以以下的式14及式15的关系成立。
[数式6]
{max(A0，A1，A2)+median(A0，A1，A2)}＝2T的曝光量+2B2 (式14)
{min(A0，A1，A2)+median(A0，A1，A2)}＝1T的曝光量+2B2 (式15)
因此，曝光量B2可以如以下的式16所示那样计算。
[数式7]
B2＝min(A0，A1，A2)-0.5{max(A0，A1，A2)-median(A0，A1，A2)} (式16)
这样，TOF运算部203根据第一摄像信号(在本实施方式中，是分别表示A0、A1及A2的RAW数据)计算将偏移成分和反射光的全部曝光的成分的至少一方(在本实施方式中是两者)，使用该至少一方的成分和第二摄像信号(在本实施方式中，是表示B1的RAW数据)计算距离值Zb。
具体而言，在本实施方式中，TOF运算部203根据分别表示A0、A1及A2的RAW数据的最大信号与最小信号的差，计算将反射光的全部曝光的成分。此外，TOF运算部203根据分别表示A0、A1及A2的RAW数据的最大信号与中间信号的和以及最小信号与中间信号的和之差，计算偏移成分。并且，TOF运算部203使用计算出的偏移成分和将反射光的全部曝光的成分，推测由与第二曝光信号群(在本实施方式中是曝光信号
Figure BDA0001559799450000171
)曝光期间相同、相对于发光信号
Figure BDA0001559799450000172
的延迟时间不同的曝光信号(在本实施方式中，是曝光信号
Figure BDA0001559799450000173
及
Figure BDA0001559799450000174
)得到的摄像信号(在本实施方式中，是分别表示曝光量B0、B2的RAW数据)。即，TOF运算部203推测曝光量B0、B2，根据通过实测得到的曝光量B1和通过推测得到的曝光量B0、B2，计算距离值Zb。
通过这样构成的有关本实施方式的测距摄像装置200，也与有关实施方式1的测距摄像装置100同样，能够确定在第一距离值(在本实施方式中是Za)中发生的折叠次数，所以能够在抑制测距运算所需要的信号数的同时，实现测距精度的维持及测距范围的大范围化。
此外，在本实施方式中，使用第一摄像信号(在本实施方式中，是分别表示曝光量A0～A2的RAW数据)，推测第二摄像信号(在本实施方式中，是分别表示曝光量B0、B2的RAW数据)。由此，即使产生曝光信号
Figure BDA0001559799450000175
而没有检测到曝光量B0、B2，仅通过进行基于曝光信号群A的曝光控制及基于曝光信号φB1的曝光控制，能够进行测距运算。
另外，TOF运算部203只要根据第一摄像信号计算将偏移成分和反射光的全部曝光的成分的至少一方就可以，也可以计算两者。
(其他实施方式)
以上，基于上述实施方式及变形例对本发明的测距摄像装置进行了说明，但本发明的测距摄像装置并不限定于上述实施方式及变形例。将上述实施方式及变形例中的任意的构成要素组合而实现的其他的实施方式、或对上述实施方式及变形例实施由本领域技术人员在不脱离本发明的主旨的范围内想到的各种变形而得到的变形例、或内置有本发明的测距摄像装置的各种设备也包含在本发明中。
例如，在上述实施方式1中，假设形成具有死区期间的曝光信号群B的i个(i是2以上的整数)的曝光信号(这里是3个曝光信号
Figure BDA0001559799450000181
)，是延迟时间相差发光信号
Figure BDA0001559799450000182
的发光周期的1/j(其中，满足j>i，这里是j＝5)的曝光信号群。但是，具有死区期间的曝光信号群B并不限于相对于该发光周期具有上述延迟时间的关系的信号。
图13是表示这样的曝光信号群B的时序图。具体而言，在该图中，与图4B同样，表示了照射光(发光信号
Figure BDA0001559799450000183
)、反射光及曝光信号
Figure BDA0001559799450000184
的定时。如该图所示，在曝光信号群B的一部分的曝光信号(这里是曝光信号
Figure BDA0001559799450000185
)被输出的期间中，在通过将发光信号
Figure BDA0001559799450000186
设为Low而不进行发光动作的情况下，该一部分的曝光信号的延迟时间也可以是例如相对于假定发光信号被输出的时间延迟时间是0。即，在此情况下，也可以形成曝光信号群B的多个曝光信号
Figure BDA0001559799450000187
中的一部分的曝光信号的延迟时间相同。
此外，本发明不仅能够作为测距摄像装置实现，也能够作为在该测距摄像装置中使用的固体摄像部2或2A等的固体摄像装置实现。即，有关本发明的固体摄像装置是在通过照射光而接收来自对象物体的反射光从而测量到该对象物体的距离的测距摄像装置中使用的固体摄像装置。该测距摄像装置具有上述说明的驱动控制部4等的控制部、光源部1和TOF运算部3等的运算部。此外，该固体摄像装置通过在第一曝光信号群的各曝光信号表示的定时将反射光曝光，将表示与第一曝光信号群对应的曝光量的第一摄像信号向运算部输出，进而，通过在第二曝光信号群的各曝光信号表示的定时将反射光曝光，将表示与第二曝光信号群对应的曝光量的第二摄像信号向上述运算部输出。
通过将这样的固体摄像装置用在测距摄像装置中，与上述说明的测距摄像装置同样，能够在抑制测距运算所需要的信号数的同时，实现测距精度的维持及测距范围的大范围化。
此外，本发明不仅能够作为具备这样的特征性的结构的测距摄像装置实现，也可以作为测距方法或该测距摄像装置的驱动方法实现。
这样的测距方法或该测距摄像装置的驱动方法包括：第一输出步骤，将第一曝光信号群周期性地反复输出，所述第一曝光信号群是由相对于上述发光信号延迟时间相互不同的多个曝光信号构成的曝光信号群，而且是在一个曝光信号的曝光期间结束之前，其他的至少一个曝光信号的曝光期间开始的曝光信号群；第二输出步骤，输出第二曝光信号群，所述第二曝光信号群是由相对于发光信号延迟时间相互不同的1个以上的曝光信号构成的曝光信号群，而且是具有该1个以上的曝光信号都为非曝光期间的死区期间的曝光信号群；运算步骤，使用由第一输出步骤得到的第一摄像信号计算第一距离值，使用由第二输出步骤得到的第二摄像信号计算第二距离值，基于第一距离值和第二距离值运算距离。
通过这样的测距方法或驱动方法，也与上述说明的测距摄像装置同样，能够在抑制测距运算所需要的信号数的同时，实现测距精度的维持及测距范围的大范围化。
产业上的可利用性
有关本发明的测距摄像装置由于能够不依存于周边环境而实现测量对象物的高精度的三维测量，所以例如对于人物、建筑物等的三维测量是有用的。
标号说明
1 光源部
2、2A 固体摄像部(固体摄像装置)
3、203 TOF运算部(运算部)
4 驱动控制部(控制部)
4A 定时发生器(控制部)
20 光电二极管
21 垂直转送部
22 水平转送部
23 信号电荷检测部
100、100A、200 测距摄像装置
OB 对象物体

Claims (12)

1.一种测距摄像装置，通过照射脉冲光并接收来自对象物体的反射光，测量到该对象物体的距离，其特征在于，
具有：
控制部，输出发光信号及曝光信号；
光源部，在上述发光信号表示的定时，照射上述脉冲光；
固体摄像装置，通过在上述曝光信号表示的定时将上述反射光曝光，输出表示曝光量的摄像信号；以及
运算部，使用上述摄像信号运算到上述对象物体的距离；
上述控制部，
将第一曝光信号群周期性地反复输出，所述第一曝光信号群是由相对于上述发光信号延迟时间相互不同的多个上述曝光信号构成的曝光信号群，而且是在一个上述曝光信号的曝光期间结束之前，其他的至少一个上述曝光信号的曝光期间开始的曝光信号群；
还输出第二曝光信号群，所述第二曝光信号群是由相对于上述发光信号延迟时间相互不同的1个以上的上述曝光信号构成的曝光信号群，而且是具有该1个以上的曝光信号都为非曝光期间的死区期间的曝光信号群；
上述运算部使用由上述第一曝光信号群得到的第一摄像信号计算第一距离值，使用由上述第二曝光信号群得到的第二摄像信号计算第二距离值，基于上述第一距离值和上述第二距离值运算上述距离。
2.如权利要求1所述的测距摄像装置，其特征在于，
上述运算部使用利用上述第二距离值确定的在上述第一距离值中发生的折叠次数，运算上述距离。
3.如权利要求1所述的测距摄像装置，其特征在于，
上述控制部，输出作为上述第一曝光信号群的各曝光信号的延迟的基准的第一发光信号、以及作为上述第二曝光信号群的各曝光信号的延迟的基准的第二发光信号，来作为上述发光信号；
上述第二发光信号是发光期间比上述第一发光信号长的信号。
4.如权利要求1所述的测距摄像装置，其特征在于，
上述运算部使用信号数比上述第一摄像信号少的上述第二摄像信号计算上述第二距离值。
5.如权利要求4所述的测距摄像装置，其特征在于，
上述运算部使用上述第一摄像信号，推测在从上述控制部输出了曝光期间与上述第二曝光信号群的各曝光信号相同、且相对于上述发光信号的延迟时间不同的曝光信号的情况下得到的上述摄像信号，使用推测出的上述摄像信号和上述第二摄像信号计算上述第二距离值。
6.如权利要求1所述的测距摄像装置，其特征在于，
上述运算部根据上述第一摄像信号计算偏移成分和将上述反射光的全部曝光后的成分中的至少一方的成分，使用该至少一方的成分和上述第二摄像信号，计算上述第二距离值。
7.如权利要求1所述的测距摄像装置，其特征在于，
上述运算部仅使用上述第一摄像信号及上述第二摄像信号中的上述第二摄像信号，计算上述第二距离值。
8.如权利要求1所述的测距摄像装置，其特征在于，
上述运算部对上述第一距离值及上述第二距离值中的至少一方进行噪声降低滤波处理，使用该噪声降低滤波处理后的上述至少一方计算上述距离。
9.一种固体摄像装置，在通过照射脉冲光并接收来自对象物体的反射光来测量到该对象物体的距离的测距摄像装置中使用，其特征在于，
上述测距摄像装置具有：
控制部，输出发光信号及曝光信号；
光源部，在上述发光信号表示的定时，照射上述脉冲光；以及
运算部，运算到上述对象物体的距离；
上述控制部，
将第一曝光信号群周期性地反复输出，所述第一曝光信号群是由相对于上述发光信号延迟时间相互不同的多个上述曝光信号构成的曝光信号群，而且是在一个上述曝光信号的曝光期间结束之前，其他的至少一个上述曝光信号的曝光期间开始的曝光信号群；
还输出第二曝光信号群，所述第二曝光信号群是由相对于上述发光信号延迟时间相互不同的1个以上的上述曝光信号构成的曝光信号群，而且是具有该1个以上的曝光信号都为非曝光期间的死区期间的曝光信号群；
上述运算部使用由上述第一曝光信号群得到的第一摄像信号计算第一距离值，使用由上述第二曝光信号群得到的第二摄像信号计算第二距离值，基于上述第一距离值和上述第二距离值运算上述距离；
上述固体摄像装置，
通过在上述第一曝光信号群的各曝光信号表示的定时将上述反射光曝光，将表示与上述第一曝光信号群对应的曝光量的上述第一摄像信号向上述运算部输出；
进而，通过在上述第二曝光信号群的各曝光信号表示的定时将上述反射光曝光，将表示与上述第二曝光信号群对应的曝光量的上述第二摄像信号向上述运算部输出。
10.如权利要求9所述的固体摄像装置，其特征在于，
上述固体摄像装置具有CCD型固体摄像元件。
11.如权利要求9所述的固体摄像装置，其特征在于，
上述固体摄像装置具有CMOS型固体摄像元件。
12.如权利要求9所述的固体摄像装置，其特征在于，
上述固体摄像装置与上述控制部及上述运算部一起由1个芯片构成。
CN201680043983.4A 2015-07-31 2016-05-23 测距摄像装置及固体摄像装置 Active CN107850669B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-152764 2015-07-31
JP2015152764 2015-07-31
PCT/JP2016/002485 WO2017022152A1 (ja) 2015-07-31 2016-05-23 測距撮像装置、及び、固体撮像装置

Publications (2)

Publication Number Publication Date
CN107850669A CN107850669A (zh) 2018-03-27
CN107850669B true CN107850669B (zh) 2021-10-12

Family

ID=57942674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680043983.4A Active CN107850669B (zh) 2015-07-31 2016-05-23 测距摄像装置及固体摄像装置

Country Status (5)

Country Link
US (1) US10545239B2 (zh)
EP (1) EP3330739A4 (zh)
JP (1) JP6701199B2 (zh)
CN (1) CN107850669B (zh)
WO (1) WO2017022152A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110446942A (zh) * 2017-03-30 2019-11-12 松下知识产权经营株式会社 距离图像生成装置以及距离图像生成方法
US10627492B2 (en) * 2017-08-01 2020-04-21 Waymo Llc Use of extended detection periods for range aliasing detection and mitigation in a light detection and ranging (LIDAR) system
CN111033301A (zh) * 2017-08-31 2020-04-17 深圳市大疆创新科技有限公司 固态光探测和测距(lidar)系统
CN111095018B (zh) 2017-08-31 2022-03-29 深圳市大疆创新科技有限公司 固态光探测和测距(lidar)系统、用于提高固态光探测和测距(lidar)分辨率的系统和方法
CN109031330B (zh) * 2018-07-12 2020-09-18 维沃移动通信有限公司 一种测量物体距离的方法及终端设备
CN112470458B (zh) * 2018-07-23 2023-02-28 新唐科技日本株式会社 距离测定装置及可靠性判定方法
CN112513671A (zh) * 2018-08-02 2021-03-16 新唐科技日本株式会社 摄像装置及在该摄像装置中使用的固体摄像元件
JP7117646B2 (ja) * 2018-09-03 2022-08-15 パナソニックＩｐマネジメント株式会社 距離測定装置
JP7154924B2 (ja) * 2018-10-03 2022-10-18 株式会社日立エルジーデータストレージ 測距撮像装置
CN113597567A (zh) * 2019-03-26 2021-11-02 松下知识产权经营株式会社 距离图像的获得方法、以及距离检测装置
US20220350024A1 (en) * 2019-07-04 2022-11-03 Brookman Technology, Inc. Distance image capturing device and distance image capturing method
JP7257275B2 (ja) 2019-07-05 2023-04-13 株式会社日立エルジーデータストレージ ３次元距離測定装置
EP3798673A1 (en) * 2019-09-25 2021-03-31 Xenomatix NV Method and device for determining distances to a scene
JP2021197284A (ja) * 2020-06-15 2021-12-27 ソニーセミコンダクタソリューションズ株式会社 光源駆動装置、光源装置および測距装置
WO2023149060A1 (ja) * 2022-02-01 2023-08-10 株式会社小糸製作所 測定装置
WO2024085069A1 (ja) * 2022-10-18 2024-04-25 ヌヴォトンテクノロジージャパン株式会社 測距装置および測距方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001337166A (ja) * 2000-05-26 2001-12-07 Minolta Co Ltd ３次元入力方法および３次元入力装置
DE60211497T2 (de) * 2001-04-04 2006-12-14 Instro Precision Ltd., Broadstairs Vermessung eines oberflächenprofils
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
JP2007121116A (ja) * 2005-10-28 2007-05-17 Sharp Corp 光学式測距装置
US7791715B1 (en) 2006-10-02 2010-09-07 Canesta, Inc. Method and system for lossless dealiasing in time-of-flight (TOF) systems
JP5190663B2 (ja) * 2007-03-27 2013-04-24 スタンレー電気株式会社 距離画像生成装置
US8629976B2 (en) * 2007-10-02 2014-01-14 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems
JP5261571B2 (ja) 2009-02-27 2013-08-14 パナソニック株式会社 距離測定装置
JP2010256291A (ja) * 2009-04-28 2010-11-11 Toyota Motor Corp 距離画像撮影装置
JP5244076B2 (ja) * 2009-11-24 2013-07-24 浜松ホトニクス株式会社 距離センサ及び距離画像センサ
JP5493942B2 (ja) * 2009-12-15 2014-05-14 ソニー株式会社 撮像装置と撮像方法
US8717469B2 (en) * 2010-02-03 2014-05-06 Microsoft Corporation Fast gating photosurface
CN102298149B (zh) * 2010-06-25 2016-04-27 原相科技股份有限公司 提高精确度、移动侦测效率、省电的时差测距系统及方法
CN102314044A (zh) * 2010-07-02 2012-01-11 原相科技股份有限公司 距离测量系统及其方法
JP2013076645A (ja) * 2011-09-30 2013-04-25 Stanley Electric Co Ltd 距離画像生成装置および距離画像生成方法
WO2014097539A1 (ja) * 2012-12-20 2014-06-26 パナソニック株式会社 ３次元測定装置および３次元測定方法
LU92173B1 (en) * 2013-03-20 2014-09-22 Iee Sarl Distance determination method
CN104755874B (zh) * 2013-04-01 2018-08-28 松下知识产权经营株式会社 具有多个光源的运动传感器装置
JP6286677B2 (ja) * 2013-06-26 2018-03-07 パナソニックＩｐマネジメント株式会社 測距システム、及び撮像センサ
JP6435513B2 (ja) 2013-06-26 2018-12-12 パナソニックＩｐマネジメント株式会社 測距撮像装置及びその測距方法、固体撮像素子
WO2015025497A1 (ja) * 2013-08-23 2015-02-26 パナソニックＩｐマネジメント株式会社 測距システム及び信号発生装置
EP4016981A3 (en) * 2013-12-24 2022-09-21 Sony Depthsensing Solutions A time-of-flight camera system
CN105899966B (zh) * 2014-01-14 2019-05-07 松下知识产权经营株式会社 距离图像生成装置以及距离图像生成方法
IL233356A (en) * 2014-06-24 2015-10-29 Brightway Vision Ltd Sensor-based imaging system with minimum wait time between sensor exposures
US9864048B2 (en) * 2015-05-17 2018-01-09 Microsoft Technology Licensing, Llc. Gated time of flight camera

Also Published As

Publication number Publication date
US10545239B2 (en) 2020-01-28
US20180149750A1 (en) 2018-05-31
EP3330739A1 (en) 2018-06-06
EP3330739A4 (en) 2018-08-15
WO2017022152A1 (ja) 2017-02-09
JP6701199B2 (ja) 2020-05-27
CN107850669A (zh) 2018-03-27
JPWO2017022152A1 (ja) 2018-05-17

Similar Documents

Publication Publication Date Title
CN107850669B (zh) 测距摄像装置及固体摄像装置
CN108139482B (zh) 摄像装置、以及在其中使用的固体摄像元件
JP6676866B2 (ja) 測距撮像装置及び固体撮像素子
WO2017085916A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
US10073164B2 (en) Distance-measuring/imaging apparatus, distance measuring method of the same, and solid imaging element
JP6910010B2 (ja) 距離測定装置
JP5593479B2 (ja) バックグランド放射光の抑制に有利なｔｏｆ領域
WO2015128915A1 (ja) 測距装置及び測距方法
JPWO2017150246A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
WO2017022219A1 (ja) 固体撮像装置の駆動方法
JP6990158B2 (ja) 距離計測装置、及び距離計測方法
JP2009192499A (ja) 距離画像生成装置
JP2008032427A (ja) 距離画像作成方法及び距離画像センサ、及び撮影装置
JP2020056698A (ja) 測距撮像装置
CN110596727A (zh) 输出精度信息的测距装置
JP2012225807A (ja) 距離画像カメラおよび距離画像合成方法
JP2020008483A (ja) 撮像装置および撮像装置の制御方法
JP7468033B2 (ja) 距離測定装置、移動体、歩行ロボット、３次元計測装置、距離画像カメラ、及び距離測定方法
CN115136023A (zh) 距离测定装置及距离测定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200603

Address after: Kyoto Japan

Applicant after: Panasonic semiconductor solutions Co.,Ltd.

Address before: Osaka Japan

Applicant before: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: Kyoto Japan

Applicant after: Nuvoton Technology Corporation Japan

Address before: Kyoto Japan

Applicant before: Panasonic semiconductor solutions Co.,Ltd.

GR01 Patent grant
GR01 Patent grant