具体实施方式
下面,参考附图来具体地说明本申请的实施方式涉及的测距摄像装置。以下的实施方式均示出本发明的一个具体例子,数值、形状、材料、构成要素、构成要素的配置位置以及连接形式等都是一个例子,主旨不是限制本发明。
(实施方式1)
图1是表示实施方式1涉及的测距摄像装置1的概略构成的一例的功能方框图。如图1所示,测距摄像装置1具备:光源部11、固体摄像部12、驱动控制部13、信号量比较部14、TOF运算部15(距离运算部15)。
光源部11具有驱动电路、电容器以及发光元件,通过将电容器保持的电荷提供到发光二极管,从而发出光。作为发光元件,可以采用激光二极管或发光二极管(LED)等其他的发光元件。
驱动控制部13,生成对向测量对象物(对象物体OB)的光照射进行指示的发光信号、以及对从该对象物体OB反射的反射光的曝光进行指示的曝光信号。
光源部11,按照接收的发光信号的定时,向对象物体OB进行光照射,该发光信号在驱动控制部13生成。
此外,固体摄像部12针对包括对象物体OB的区域,按照由驱动控制部13生成的曝光信号所示出的定时,进行多次曝光,获得与多次曝光量的总和对应的RAW数据(摄像信息)。固体摄像部12具有摄像机透镜、固体摄像元件,以及模数转换器等制作并输出RAW数据的电路。
信号量比较部14,至少判断从固体摄像部12接受的RAW数据中的信号量的大小关系,传输到TOF运算部15(距离运算部15)。
TOF运算部15(距离运算部15),根据从固体摄像部12接受的RAW数据或从信号量比较部14接受的由固体摄像部12输出的RAW数据的信号,按照信号量比较部14的判断结果来运算并输出TOF信号(距离信号),该TOF信号是到对象物体OB的距离信息。
下面说明将本实施方式涉及的测距摄像装置1的固体摄像部12,作为CCD(ChargeCoupled Device)型固体摄像元件来使用的情况。
图2是表示CCD型的固体摄像元件的功能的概略构成图。如该图所示,CCD型固体摄像元件具备光电二极管101、垂直传输部102、水平传输部103、信号电荷检测部104。
光电二极管101将接受的光,转换为电荷。
垂直传输部102,由多个栅极构成,将从光电二极管101读出的电荷依次向垂直方向传输。
水平传输部103,将由多个栅极构成的多个栅极作为数据包,从垂直传输部102接受的电荷依次向水平方向传输。
信号电荷检测部104,依次检测从水平传输部接受的电荷,并转换为电压信号并输出。
在这里,在读出栅极是打开的状态下,按照曝光信号控制基板电压,在曝光信号是Low的期间,将光电二极管101曝光,将通过该曝光产生的电荷蓄积到垂直传输部102。
图3以及图5分别是说明实施方式1涉及的测距摄像装置的检测曝光量的定时的一例的图。在本实施方式示出的例子中,在构成固体摄像部12的同一像素来检测的信号进行蓄积的不同的多个信号蓄积单元的数量为三个。
另外,图3的(a)以及图5的(a)分别表示驱动控制部13输出发光信号和曝光信号的1个画面的定时关系的例子。此外,图3的(b)以及图5的(b)分别表示第一发光曝光期间的曝光量A0的检测定时,图3的(c)以及图5的(c)分别表示第二发光曝光期间的曝光量A1的检测定时,图3的(d)以及图5的(d)分别表示第三发光曝光期间的曝光量A2的检测定时。
首先,如图3的(a)以及(b)和图5的(a)以及(b)所示,在第一发光曝光期间,在第一曝光信号为Low的期间曝光光电二极管101,将通过该曝光产生的电荷,蓄积到垂直传输部102。在本实施方式反复m次该动作,在第一发光曝光期间结束的时刻,控制垂直传输部102的栅极,向没有读出栅极的数据包传输所述电荷。
在这里,第一发光曝光期间是指,相对于光源部11接收发光信号发光的定时,固体摄像部12经过第一延迟时间接收曝光信号并进行曝光的期间。在本实施方式,第一曝光信号期间的长度与发光信号期间的长度相同被设定为To,第一延迟时间被设定为0。即,第一曝光信号期间被设定为发送发光信号的(高电平)期间。
接着,如图3的(a)以及(c)和图5的(a)以及(c)所示,在第二发光曝光期间中,在第二曝光信号为Low的期间,曝光光电二极管101,将通过该曝光产生的电荷蓄积到垂直传输部102。在本实施方式反复m次这个动作,在第二发光曝光期间结束的时刻,控制垂直传输部102的栅极,向没有读出栅极的数据包传输所述电荷。
在这里,第二发光曝光期间是指,相对于固体摄像部12接收发光信号的定时,经过与第一延迟时间不同的第二延迟时间之后,接收曝光信号并进行曝光的期间。在本实施方式,第二曝光信号期间的长度,与发光信号期间的长度以及第一曝光信号期间的长度相同被设定为To,第二延迟时间被设定为将第一延迟时间0和第一曝光信号期间相加的To。
接着,如图3的(a)以及(d)和图5的(a)以及(d)所示,在第三发光曝光期间,在第三曝光信号为Low的期间,曝光光电二极管101,将通过该曝光产生的电荷蓄积到垂直传输部102。在本实施方式反复m次这个动作,在第三发光曝光期间结束的时刻,控制垂直传输部102的栅极,将通过第一曝光信号曝光的电荷发送到有读出栅极的数据包。
在这里,第三发光曝光期间是指,相对于固体摄像部12接收发光信号的定时,经过与第一以及第二延迟时间不同的第三延迟时间之后,接收曝光信号进行曝光的期间。在本实施方式,第三曝光信号期间的长度与发光信号期间的长度和第一以及第二曝光信号期间的长度相同被设定为To,第三延迟时间被设定为第一延迟时间0和第一曝光信号期间To和第二曝光期间To相加的2×To。
之后,在本实施方式中重复N次这个连续的动作之后,依次重复垂直传输部102的传输和水平传输部103的传输,将所述电荷在信号电荷检测部104转换为电压信号并输出。
因此,作为曝光信号的定时各自不同的多个曝光期间中获得的信号进行蓄积的方法,能够采用蓄积到在垂直传输部102中已构成的多个数据包中,所述曝光信号的定时是接收相对于发光信号从对象物体OB反射来的反射光的定时。因而,不需要追加形成信号蓄积单元,在同样面积时,能够使光电二极管101变得更大,使饱和灵敏度更大,最大受光量更大,能够实现高精度测距。
另外,在图2中,通过使用CCD图像传感器(CCD型固体摄像元件),能够进行将多个光电二极管101一并重置的动作即全局重置(Global Reset),从而能够实现更高精度的测距。但是,本实施方式使用的固体摄像元件,不限定为CCD图像传感器,作为测距摄像装置考虑其他要求,使用CMOS图像传感器(CMOS型固体摄像元件)等其他固体摄像元件(图像传感器),也能获得相同的效果(基于S/N改进的测距精度提高等)。
接着,利用图3~图6详细说明本实施方式涉及的测距摄像装置的测距动作。
图4以及图6分别是实施方式1涉及的测距摄像装置的发光信号以及曝光信号的定时图。另外,图3的(b)、(c)及(d)、图4、图5的(b)、(c)及(d)、以及图6示出了本实施方式1涉及的测距摄像装置1的动作的详细。更具体而言,示出了在驱动控制部13生成的发光信号和曝光信号的定时关系的一例。在图4以及图6中,为了方便理解接受反射光的曝光信号的定时分别不同的多个曝光期间的关系,将发光信号以及曝光信号的各个定时表示在同一个纸面上。在本实施方式示出的例子中,在构成固体摄像部12的同一像素进行检测的信号进行蓄积的不同的多个信号蓄积单元的数量为三个。
首先,驱动控制部13输出第一曝光信号、第二曝光信号以及第三曝光信号,该三个曝光信号是,相对于发光信号固体摄像部12接受来自对象物体OB的反射光的定时不同的信号。在本实施方式,第一、第二以及第三曝光信号期间的长度,与发光信号期间的长度相同被设定为TO,相对于光源部11接收发光信号并发光的定时的、第一曝光信号的延迟时间被设定为0。即第一曝光信号期间,被设定为发送发光信号(高电平)的期间。此外,第二曝光信号的延迟时间,被设定为第一延迟时间0和第一曝光信号期间To相加的To,第三曝光信号的延迟时间,被设定为第二延迟时间To和第二曝光期间To相加的2×To。从而,背景光的曝光量,在第一、第二以及第三曝光信号期间中相等。
另一方面,图3的(a)以及图5的(a)示出发光信号和第一、第二以及第三曝光信号的一个画面中的定时关系的例子。在本实施方式,第一、第二以及第三发光曝光期间中,发光信号以及曝光信号重复m次,一连串的定时作为一个组,将上述动作重复N组并输出后,将蓄积的曝光信号输出。在此,将基于第一曝光信号的曝光量a0的总和设为A0,将基于第二曝光信号的曝光量a1的总和设为A1,将基于第三曝光信号的曝光量a2的总和设为A2。
在图3以及图4中示出了相对于发光信号定时(照射光)的来自对象物体OB的反射光的基于光路的延迟Td,小于第一延迟时间0与第一曝光信号期间To相加的值(即To)的情况。在这个情况下,以在第一曝光信号期间和第二曝光信号期间相加的期间,包含来自对象物体OB的反射光的全部的方式进行曝光。此外,第二曝光信号期间的曝光量,按照来自对象物体OB的反射光相对于发光信号定时的延迟Td越大,就越增加。此外,在第三曝光信号期间,只曝光背景光。
此时,信号量比较部14,比较基于第一曝光信号的曝光量的总和A0和基于第三曝光信号的曝光量的总和A2,判断为如下式1。
[数1]
A0>A2 (式1)
此外,信号量比较部14,将式1的判断结果传输给TOF运算部15。
在这里将光速(299,792,458m/s)设为c时,TOF运算部15通过进行以下式2的运算,从而能够算出距离L。
[数2]
在图5以及图6中示出了相对于发光信号定时(照射光)的来自对象物体OB的反射光基于光路的延迟Td是,第一延迟时间0与第一曝光信号期间To相加的值(即To)以上的情况。在这个情况下,以第二曝光信号期间与第三曝光信号期间相加的期间,包含来自对象物体OB的反射光的全部的方式进行曝光。此外,第三曝光信号期间的曝光量,按照来自对象物体OB的反射光相对于发光信号定时的延迟Td越大,就越增加。此外,在第一曝光信号期间,只曝光背景光。
此时,信号量比较部14,比较基于第一曝光信号的曝光量的总和A0与基于第三曝光信号的曝光量的总和A2,判断为如下式3。
[数3]
A2≧A0 (式3)
此外,信号量比较部14,将式3的判断结果传输给TOF运算部15。TOF运算部15,进行如下式4的运算,从而能够算出距离L。
[数4]
如上所述,将不同的多个信号蓄积单元的全部,用于蓄积曝光信号的定时分别不同的曝光期间中曝光的信号。在这里,曝光期间是指,相对于发光信号的定时,从对象物体OB反射的反射光进行曝光的期间。而且,按照比较不同的多个信号蓄积单元的信号量的大小关系的结果,改变TOF运算的式,从而执行背景光的消除并且扩大曝光期间。此外,测距范围(界限)不限定于c×To/2,能够扩大为两倍即2×(c×To/2)。从而,不需要扩大光源的脉冲宽度TO,通过第一延迟时间的设定就能够使测距范围扩大到更远侧或者更近侧的至少一方、或者双方。因而,能够实现高精度且测距范围广的测距摄像装置。
(实施方式1的变形例)
图7是表示实施方式1的变形例涉及的测距摄像装置的信号量比较部的概略构成的一例的功能方框图。如该图所示,信号量比较部24具备噪声消除部26、信号区分部27、背景光消除部28、异常值判断部29。
噪声消除部26,消除从固体摄像部12接受的RAW数据的噪声。
信号区分部27,根据从噪声消除部26接受的噪声消除后的RAW数据中,蓄积在不同的多个信号蓄积单元的信号之间的信号量的大小关系,分为包含多个反射光的信号和只基于背景光的信号,并且将信号量的大小关系的判断结果传输到TOF运算部25(距离运算部25)。
背景光消除部28,从信号区分部27接受的包含多个反射光的信号中,减去只基于背景光的信号,从而消除背景光信号。
异常值判断部29,根据从背景光消除部28接受的多个消除了背景光的信号,判断异常值,将结果传输到TOF运算部25。
以下,针对发光信号以及曝光信号的定时关系,以图3~图6表示的定时关系相同的情况为例子,详细说明动作。
噪声消除部26,分别消除从固体摄像部12接受的RAW数据中的第一曝光信号的曝光量的总和A0、第二曝光信号的曝光量的总和A1以及第三曝光信号的曝光量的总和A2的噪声,将该消除了噪声的曝光量的各自,作为A0nr、A1nr以及A2nr传输到信号区分部27。
信号区分部27,在相对于发光信号定时(照射光)的来自对象物体OB的反射光的基于光路的延迟Td,小于第一延迟时间0与第一曝光信号期间相加的值(即To)的情况下,判断为如下式5。
[数5]
A0nr>A2nr (式5)
此外,信号区分部27,将来自对象物体OB的反射光相对于发光信号的定时的延迟Td越大,越减少的曝光量设为S0nr,越增加的曝光量设为S1nr,将只有背景光的曝光量设为BGnr的情况下,如下式6一样区分信号,并传输给背景光消除部28。
[数6]
S0nr=A0nr
S1nr=A1nr
BGnr=A2nr (式6)
进而向TOF运算部25传输判断结果J=0。
另一方面,相对于发光信号定时(照射光)的来自对象物体OB的反射光基于光路的延迟Td是,第一延迟时间0和第一曝光信号期间相加的值(即To)以上的情况下,信号区分部27,判断为如下式7,将信号区分为如下式8,并传输到背景光消除部28。
[数7]
A2nr≧A0nr (式7)
[数8]
S0nr=A1nr
S1nr=A2nr
BGnr=A0nr (式8)
进而,向TOF运算部25传输判断结果J=1。
背景光消除部28,消除背景光,进行如下式9的处理,并传输到异常值判断部29。
[数9]
S0subBG=S0nr-BGnr
S1subBG=S1nr-BGnr (式9)
异常值判断部29,判断从背景光消除部28接受的S0subBG以及S1subBG的信号量。对象物体OB在测量范围外的情况下,基于第一曝光信号的曝光量的总和A0、基于第二曝光信号的曝光量的总和A1以及基于第三曝光信号的曝光量的总和A2的全部成为大体上相同的信号量。此时,异常值判断部29,在S0subBG以及S1subBG的信号量极为接近零的情况下,判断为是测量范围外的异常值,传输到TOF运算部25,不接近零的情况下,将S0subBG以及S1subBG原样传输到TOF运算部25。
TOF运算部25,通过进行以下式10的运算,能够算出距离L。
[数10]
从而,不仅测距范围(界限)不限于c×To/2,扩大两倍到2×(c×To/2),而且在消除了噪声的信号之间进行信号量的大小比较,从而能够防止错误判定。因此,能够实现高精度且测距范围广的测距摄像装置。
此外,判断消除了背景光的多个信号的信号量,所以测量对象物体在测量范围外的情况下,能够观测到消除了背景光的多个信号的全部的信号量极为接近零。因此,容易进行测距范围外的判断,能够实现更高精度且测距范围广的测距摄像装置。
(实施方式2)
图8、图9以及图10分别是实施方式2涉及的测距摄像装置1的发光信号以及曝光信号的定时图。具体而言,表示在驱动控制部13生成的发光信号和曝光信号之间的定时关系的一例,为了方便理解接受反射光的曝光信号的定时分别不同的多个曝光期间的关系,在同一纸面上表示发光信号以及曝光信号的各个定时。在本实施方式表示的例子中不同的多个信号蓄积单元的数量是三个,该多个信号蓄积单元对在构成固体摄像部12的同一像素检测的信号进行蓄积。
驱动控制部13输出第一曝光信号、第二曝光信号以及第三曝光信号,这三个曝光信号是,相对于发光信号,固体摄像部12接受来自对象物体OB的反射光的定时不同的信号。
在本实施方式,第一曝光信号的曝光信号期间的长度,与发光信号期间的长度相同,被设定为To。第一曝光信号由第一曝光信号A和第一曝光信号B的两个曝光信号来构成,第一曝光信号A具有相对于光源部11接收发光信号进行发光的定时,延迟时间设为0的曝光期间,第一曝光信号B具有延迟时间被设定为第三曝光信号的延迟时间2×To和第三曝光期间To相加的3×To的曝光期间。
此外,第二以及第三曝光信号期间的长度与发光信号期间的长度相同,被设定为To。此外,第二曝光信号的延迟时间,被设定为第一曝光信号A的延迟时间0和第一曝光信号A的曝光期间(To)相加的To。第三曝光信号的延迟时间,被设定为第二曝光信号的延迟时间To和第二曝光信号期间To相加的2×To。
从而,背景光的曝光量,在第二以及第三曝光信号期间相等,在第一曝光信号期间成为其两倍。
图8的定时图表示相对于发光信号定时(照射光)的来自对象物体OB的反射光的基于光路的延迟Td,小于第一曝光信号A的延迟时间0和第一曝光信号A的曝光期间To相加的值To的情况。在这个情况下,以第一曝光信号A的曝光期间与第二曝光信号期间相加的期间,包含来自对象物体OB的反射光的全部的方式进行曝光。此外,第二曝光信号期间的曝光量,按照来自对象物体OB的反射光相对于发光信号定时的延迟Td越大,就越增加。此外,在第三曝光信号期间,只曝光背景光。此时,信号量比较部14,比较基于第一曝光信号的曝光量的总和A0和基于第二曝光信号的曝光量的总和A1和基于第三曝光信号的曝光量的总和A2,判断为如下式11。
[数11]
A0>2×A2,A1>A2 (式11)
此外,信号量比较部14,将式11的判断结果传输给TOF运算部15。TOF运算部15,进行如下式12的运算,从而能够算出距离L。
[数12]
在图9表示相对于发光信号定时(照射光)的来自对象物体OB的反射光的基于光路的延迟Td是,第一曝光信号A的延迟时间0和第一曝光信号A的曝光期间To相加的值To以上,且小于第二曝光信号的延迟时间To和第二曝光信号期间To相加的值2×To的情况。在这个情况下,以在第二曝光信号期间与第三曝光信号期间相加的期间,包含来自对象物体OB的反射光的全部的方式进行曝光。此外,第三曝光信号期间的曝光量,按照来自对象物体OB的反射光相对于发光信号定时的延迟Td越大,就越增加。此外,在第一曝光信号期间,只曝光背景光。
此时,信号量比较部14,比较基于第一曝光信号的曝光量的总和A0和基于第二曝光信号的曝光量的总和A1和基于第三曝光信号的曝光量的总和A2,判断为如下式13。
[数13]
2×A2≧A0,2×A1>A0 (式13)
此外,信号量比较部14,将式13的判断结果传输给TOF运算部15。TOF运算部15,进行如下式14的运算,从而能够算出距离L。
[数14]
在图10表示相对于发光信号定时(照射光)的来自对象物体OB的反射光的基于光路的延迟Td是,第二曝光信号的延迟时间To和第二曝光信号期间To相加的值2×To以上的情况。在这个情况下,以在第三曝光信号期间与第一曝光信号期间A相加的期间,包含来自对象物体OB的反射光的全部的方式进行曝光。此外,第一曝光信号B的曝光期间的曝光量,按照来自对象物体OB的反射光相对于发光信号定时的延迟Td越大,就越增加。此外,在第二曝光信号期间,只曝光背景光。
此时,信号量比较部14,比较基于第一曝光信号的曝光量的总和A0和基于第二曝光信号的曝光量的总和A1和基于第三曝光信号的曝光量的总和A2,判断为如下式15。
[数15]
A0≧2×A1,A2>A1 (式15)
此外,信号量比较部14,将式15的判断结果传输给TOF运算部15。TOF运算部15,进行如下式16的运算,从而能够算出距离L。
[数16]
如上所述,将不同的多个信号蓄积单元的全部,用于蓄积曝光信号的定时分别不同的曝光期间曝光的信号。在这里,曝光期间是指相对于发光信号的定时、从对象物体OB反射的反射光进行曝光的期间。进而,针对信号蓄积单元的至少1个相同的信号蓄积单元,蓄积相对于发光信号以不同的多个定时曝光的信号。而且,按照比较不同的多个信号蓄积单元的信号量的大小关系的结果,变更TOF运算的式,从而不需要增加信号蓄积单元,就能够执行背景光的消除并且进一步扩大曝光期间。此外,测距范围(界限)不限定于c×To/2,能够扩大3倍即3×(c×To/2)。从而,不需要扩大光源的脉冲宽度To,通过第一延迟时间的设定就能够使测距范围扩大到更远侧或者更近侧的至少一方、或者双方。因而,能够实现高精度且测距范围广的测距摄像装置。
(实施方式2的变形例1)
图11、图12以及图13分别是实施方式2的变形例1涉及的测距摄像装置1的发光信号以及曝光信号的定时图。具体而言,表示在驱动控制部13生成的发光信号和曝光信号之间的定时关系的一例,为了方便理解接受反射光的曝光信号的定时分别不同的多个曝光期间的关系,在同一纸面上表示发光信号以及曝光信号的各个定时。在本实施方式表示的例子中,对在构成固体摄像部12的同一像素检测的信号进行蓄积的、不同的多个信号蓄积单元的数量是三个。
驱动控制部13输出第一曝光信号、第二曝光信号以及第三曝光信号,该三个曝光信号是,相对于发光信号,固体摄像部12接受来自对象物体OB的反射光的定时不同的信号。
在本实施方式,第一曝光信号的曝光信号期间的长度,与发光信号期间的长度相同被设定为To。第一曝光信号由第一曝光信号A和第一曝光信号B的两个曝光信号来构成,第一曝光信号A具有相对于光源部11接收发光信号进行发光的定时,延迟时间设为0的曝光期间,第一曝光信号B具有延迟时间被设定为第三曝光信号A的延迟时间2×To和第三曝光信号A的曝光期间To相加的3×To的曝光期间。
第二曝光信号的曝光信号期间的长度,与发光信号期间的长度相同被设定为To。第二曝光信号,由第二曝光信号A和第二曝光信号B的两个曝光信号构成。第二曝光信号A具有延迟时间被设定为第一曝光信号A的延迟时间0和第一曝光信号A的曝光期间To相加的To的曝光期间。第二曝光信号B具有延迟时间被设定为比第一曝光信号B的延迟时间3×To和第一曝光信号B的曝光期间To相加的4×To还大的曝光期间。
第三曝光信号的曝光信号期间的长度,与发光信号期间的长度相同被设定为To。第三曝光信号由第三曝光信号A和第三曝光信号B的两个曝光信号构成。第三曝光信号A具有延迟时间被设定为第二曝光信号A的延迟时间To和第二曝光信号A的曝光期间To相加的2×To的曝光期间。第三曝光信号B具有延迟时间被设定为比第一曝光信号B的延迟时间3×To和第一曝光信号B的曝光期间To相加的4×To还大的曝光期间。
从而,背景光的曝光量,在第一、第二以及第三曝光信号期间相等。
图11的定时图表示相对于发光信号定时(照射光)的来自对象物体OB的反射光的基于光路的延迟Td,小于第一曝光信号A的延迟时间0和第一曝光信号A的曝光期间To相加的值To的情况。在这个情况下,以在第一曝光信号A的曝光期间与第二曝光信号A的曝光期间相加的期间,包含来自对象物体OB的反射光的全部的方式进行曝光。此外,第二曝光信号A的曝光期间的曝光量,按照来自对象物体OB的反射光相对于发光信号定时的延迟Td越大,就越增加。此外,在第三曝光信号期间,只曝光背景光。
此时,信号量比较部14,比较基于第一曝光信号的曝光量的总和A0和基于第二曝光信号的曝光量的总和A1和基于第三曝光信号的曝光量的总和A2,判断为如下式17。
[数17]
A0>A2,A1>A2 (式17)
此外,信号量比较部14,将式17的判断结果传输给TOF运算部15。TOF运算部15,进行如下式18的运算,从而能够算出距离L。
[数18]
在图12表示如下,相对于发光信号定时(照射光)的来自对象物体OB的反射光的基于光路的延迟Td是,第一曝光信号A的延迟时间0与第一曝光信号A的曝光期间To相加的值To以上、并且小于第二曝光信号A的延迟时间To与第二曝光信号A的曝光期间To相加的值2×To的情况。在这个情况下,以在第二曝光信号A的曝光期间与第三曝光信号A的曝光期间相加的期间,包含来自对象物体OB的反射光的全部的方式进行曝光。此外,第三曝光信号A的曝光期间的曝光量,按照来自对象物体OB的反射光相对于发光信号定时的延迟Td越大,就越增加。此外,在第一曝光信号期间,只曝光背景光。此时,信号量比较部14,比较基于第一曝光信号的曝光量的总和A0和基于第二曝光信号的曝光量的总和A1和基于第三曝光信号的曝光量的总和A2,判断为如下式19。
[数19]
A2≧A0,A1>A0 (式19)
此外,信号量比较部14,将式19的判断结果传输给TOF运算部15。TOF运算部15,进行如下式20的运算,从而能够算出距离L。
[数20]
在图13表示相对于发光信号定时(照射光)的来自对象物体OB的反射光的基于光路的延迟Td是,第二曝光信号的延迟时间To和第二曝光信号期间To相加的值2×To以上的情况。在这个情况下,以在第三曝光信号A的曝光期间与第一曝光信号B的曝光期间相加的期间,包含来自对象物体OB的反射光的全部的方式进行曝光。此外,第一曝光信号B的曝光期间的曝光量,按照来自对象物体OB的反射光相对于发光信号定时的延迟Td越大,就越增加。此外,在第二曝光信号期间,只曝光背景光。
此时,信号量比较部14,比较基于第一曝光信号的曝光量的总和A0和基于第二曝光信号的曝光量的总和A1和基于第三曝光信号的曝光量的总和A2,判断为如下式21。
[数21]
A0≧A1,A2>A1 (式21)
此外,信号量比较部14,将式21的判断结果传输给TOF运算部15。TOF运算部15,进行如下式22的运算,从而能够算出距离L。
[数22]
如上所述,将不同的多个信号蓄积单元的全部,用于蓄积在曝光信号的定时分别不同的曝光期间曝光的信号。在这里,曝光期间是指相对于发光信号的定时,从对象物体OB反射的反射光进行曝光的期间。进而,在所有信号蓄积单元中,针对相同的信号蓄积单元,蓄积在相对于发光信号不同的多个定时曝光的信号,从而背景光的曝光量变得相等,且更容易比较不同的多个信号蓄积单元的信号量的大小关系,精度变高。因此按照比较结果,变更TOF运算的式,从而不需要增加信号蓄积单元,就能够执行背景光的消除并且进一步扩大曝光期间。此外,测距范围(界限)不限定于c×To/2,能够扩大3倍即3×(c×To/2)。从而,不需要扩大光源的脉冲宽度To,通过第一延迟时间的设定就能够使测距范围扩大到更远侧或者更近侧的至少一方、或者双方。因而,能够实现高精度且测距范围广的测距摄像装置。
(实施方式2的变形例2)
图14是实施方式2的变形例2涉及的测距摄像装置1的发光信号以及曝光信号的定时图。具体而言,表示在驱动控制部13生成的发光信号和曝光信号之间的定时关系的一例,为了方便理解接受反射光的曝光信号的定时分别不同的多个曝光期间的关系,在同一纸面上表示发光信号以及曝光信号的各个定时。在本实施方式表示的例子中,对在构成固体摄像部12的同一像素检测的信号进行蓄积的、不同的多个信号蓄积单元的数量是四个。
驱动控制部13输出第一曝光信号、第二曝光信号、第三曝光信号以及第四曝光信号,这四个曝光信号是,相对于发光信号,固体摄像部12接受的来自对象物体OB的反射光的定时不同的信号。
在本实施方式,第一曝光信号各自的曝光信号期间的长度,与发光信号期间的长度相同,被设定为To。第一曝光信号由第一曝光信号A和第一曝光信号B的两个曝光信号来构成,第一曝光信号A具有相对于光源部11接收发光信号进行发光的定时,延迟时间被设定为0的曝光期间,第一曝光信号B具有延迟时间被设定为第四曝光信号A的延迟时间3×To和第四曝光信号A的曝光期间To相加的4×To的曝光期间。
第二曝光信号各自的曝光信号期间的长度,与发光信号期间的长度相同被设定为To。第二曝光信号由第二曝光信号A和第二曝光信号B的两个曝光信号构成。第二曝光信号A具有延迟时间被设定为第一曝光信号A的延迟时间0和第一曝光信号A的曝光期间To相加的To的曝光期间。第二曝光信号B具有延迟时间被设定为比第三曝光信号B的延迟时间5×To和第三曝光信号B的曝光期间To相加的6×To还大的曝光期间。
第三曝光信号各自的曝光信号期间的长度,与发光信号期间的长度相同被设定为To。第三曝光信号由第三曝光信号A和第三曝光信号B的两个曝光信号构成。第三曝光信号A具有延迟时间被设定为第二曝光信号A的延迟时间To和第二曝光信号A的曝光期间To相加的2×To的曝光期间。第三曝光信号B具有延迟时间被设定为第一曝光信号B的延迟时间4×To和第一曝光信号B的曝光期间To相加的5×To的曝光期间。
第四曝光信号各自的曝光信号期间的长度,与发光信号期间的长度相同被设定为To。第四曝光信号由第四曝光信号A和第四曝光信号B的两个曝光信号构成。第四曝光信号A具有延迟时间被设定为第三曝光信号A的延迟时间2×To和第三曝光信号A的曝光期间To相加的3×To的曝光期间。第四曝光信号B具有延迟时间被设定为比第三曝光信号B的延迟时间5×To和第三曝光信号B的曝光期间To相加的6×To还大的曝光期间。
从而,背景光的曝光量,在第一、第二、第三以及第四曝光信号期间相等。
以下详细说明动作。在相对于发光信号定时(照射光)的来自对象物体OB的反射光的基于光路的延迟Td,小于第一曝光信号A的延迟时间0和第一曝光信号A的曝光期间To相加的值To的情况下,以在第一曝光信号A的曝光期间与第二曝光信号A的曝光期间相加的期间,包含来自对象物体OB的反射光的全部的方式进行曝光。此外,第二曝光信号A的曝光量,按照来自对象物体OB的反射光相对于发光信号定时的延迟Td越大,就越增加。此外,在第三曝光信号期间以及第四曝光信号期间,只曝光背景光。
此时,信号量比较部14,比较基于第一曝光信号的曝光量的总和A0和基于第二曝光信号的曝光量的总和A1和基于第三曝光信号的曝光量的总和A2和基于第四曝光信号的曝光量的总和A3,判断为如下式23。
[数23]
A0>A2,A1>A2,A0>A3,A1>A3 (式23)
此外,信号量比较部14,将式23的判断结果传输给TOF运算部15。TOF运算部15,进行如下式24的运算,从而能够算出距离L。另外,在这个情况下,背景光的曝光量即BG,可以是A2、A3、以及(A2+A3)/2中的任一个。
[数24]
相对于发光信号定时(照射光)的来自对象物体OB的反射光的基于光路的延迟Td是第一曝光信号A的延迟时间0和第一曝光信号A的曝光期间To相加的值To以上、并且小于第二曝光信号A的延迟时间To和第二曝光信号A的曝光期间To相加的值2×To的情况下,以在第二曝光信号A的曝光期间与第三曝光信号A的曝光期间相加的期间,包含来自对象物体OB的反射光的全部的方式进行曝光。此外,第三曝光信号A的曝光期间的曝光量,按照来自对象物体OB的反射光相对于发光信号定时的延迟Td越大,就越增加。此外,在第一曝光信号期间以及第四曝光信号期间,只曝光背景光。
此时,信号量比较部14,比较基于第一曝光信号的曝光量的总和A0和基于第二曝光信号的曝光量的总和A1和基于第三曝光信号的曝光量的总和A2和基于第四曝光信号的曝光量的总和A3,判断为如下式25。
[数25]
A2≧A0,,A1>A0,A1>A3,A2>A3 (式25)
此外,信号量比较部14,将式25的判断结果传输给TOF运算部15。TOF运算部15,进行如下式26的运算,从而能够算出距离L。另外,在这个情况下,背景光的曝光量即BG,可以是A0、A3、以及(A0+A3)/2中的任一个。
[数26]
相对于发光信号定时(照射光)的来自对象物体OB的反射光的基于光路的延迟Td是第二曝光信号A的延迟时间To和第二曝光信号A的曝光期间To相加的值2×To以上、并且小于第三曝光信号A的延迟时间2×To和第三曝光信号A的曝光期间To相加的值3×To的情况下,以在第三曝光信号A的曝光期间与第四曝光信号A的曝光期间相加的期间,包含来自对象物体OB的反射光的全部的方式进行曝光。此外,第四曝光信号A的曝光量,按照来自对象物体OB的反射光相对于发光信号定时的延迟Td越大,就越增加。此外,在第一曝光信号期间以及第二曝光信号期间,只曝光背景光。
此时,信号量比较部14,比较基于第一曝光信号的曝光量的总和A0和基于第二曝光信号的曝光量的总和A1和基于第三曝光信号的曝光量的总和A2和基于第四曝光信号的曝光量的总和A3,判断为如下式27。
[数27]
A2>A0,A3>A0,A3≧A1,A2>A1 (式27)
此外,信号量比较部14,将式27的判断结果传输给TOF运算部15。TOF运算部15,进行如下式28的运算,从而能够算出距离L。另外,在这个情况下,背景光的曝光量即BG,可以是A0、A1、以及(A0+A1)/2中的任一个。
[数28]
相对于发光信号定时(照射光)的来自对象物体OB的反射光的基于光路的延迟Td是第三曝光信号A的延迟时间2×To和第三曝光信号A的曝光期间To相加的值3×To以上、并且小于第四曝光信号A的延迟时间3×To和第四曝光信号A的曝光期间To相加的值4×To的情况下,以在第四曝光信号A的曝光期间与第一曝光信号B的曝光期间相加的期间,包含来自对象物体OB的反射光的全部的方式进行曝光。此外,第一曝光信号B的曝光期间的曝光量,按照来自对象物体OB的反射光相对于发光信号定时的延迟Td越大,就越增加。此外,在第二曝光信号期间以及第三曝光信号期间,只曝光背景光。
此时,信号量比较部14,比较基于第一曝光信号的曝光量的总和A0和基于第二曝光信号的曝光量的总和A1和基于第三曝光信号的曝光量的总和A2和基于第四曝光信号的曝光量的总和A3,判断为如下式29。
[数29]
A0≧A2,A3>A2,A0>A1,A3>A1 (式29)
此外,信号量比较部14,将式29的判断结果传输给TOF运算部15。TOF运算部15,进行如下式30的运算,从而能够算出距离L。另外,在这个情况下,背景光的曝光量即BG,可以是A1、A2、以及(A1+A2)/2中的任一个。
[数30]
相对于发光信号定时(照射光)的来自对象物体OB的反射光的基于光路的延迟Td是第四曝光信号A的延迟时间3×To和第四曝光信号A的曝光期间To相加的值4×To以上的情况下,以在第一曝光信号B的曝光期间与第三曝光信号B的曝光期间相加的期间,包含来自对象物体OB的反射光的全部的方式进行曝光。此外,第三曝光信号B的曝光期间的曝光量,按照来自对象物体OB的反射光相对于发光信号定时的延迟Td越大,就越增加。此外,在第二曝光信号期间以及第四曝光信号期间,只曝光背景光。图14的定时图表示这种情况。
此时,信号量比较部14,比较基于第一曝光信号的曝光量的总和A0和基于第二曝光信号的曝光量的总和A1和基于第三曝光信号的曝光量的总和A2和基于第四曝光信号的曝光量的总和A3,判断为如下式31。
[数31]
A0>A3,A2≧A3,A0>A1,A2>A1 (式31)
此外,信号量比较部14,将式31的判断结果传输给TOF运算部15。TOF运算部15,进行如下式32的运算,从而能够算出距离L。另外,在这个情况下,背景光的曝光量即BG,可以是A1、A3、以及(A1+A3)/2中的任一个。
[数32]
如上所述,将不同的多个信号蓄积单元的全部,用于蓄积曝光信号的定时分别不同的曝光期间曝光的信号。在这里,曝光期间是指相对于发光信号的定时,来自对象物体OB的反射光曝光的期间。进而,在所有信号蓄积单元中,对相同的信号蓄积单元,蓄积相对于发光信号以不同的多个定时曝光的信号,从而背景光的曝光量变得相等,并且更容易比较不同的多个信号蓄积单元的信号量的大小关系,精度变高。而且,按照该比较结果,变更TOF运算的式,从而不需要增加信号蓄积单元,就能够执行背景光的消除并且进一步扩大曝光期间。因此,测距范围(界限)不限于将一个信号蓄积单元专用于背景光的曝光的情况下的2×(c×To/2),而是能够扩大2.5倍,即5×(c×To/2)。从而,不需要扩大光源的脉冲宽度To,通过第一延迟时间的设定就能够使测距范围扩大到更远侧或者更近侧的至少一方、或者双方。因而,能够实现高精度且测距范围广的测距摄像装置。
另外,在所述实施方式说明了测距摄像装置,但是本申请的测距摄像装置的构成,不只停留在通过距离信息来测量距离的测距摄像装置,还可以适用于高精度地检测其他物理量(例:形状、温度、放射线浓度等)的物理量检测装置、以及高精度地描画摄像数据的摄像装置。
(总结)
如以上的利用附图的说明,本发明的实施方式涉及的测距摄像装置1,具备:驱动控制部13,生成对光照射进行指示的发光信号与对反射光的曝光进行指示的曝光信号;光源部11,按照发光信号表示的定时,进行光的照射;固体摄像部12,针对包括对象物体OB的区域,按照曝光信号表示的定时进行曝光,生成RAW数据,该RAW数据是与所述曝光的曝光量对应的摄像信息;信号量比较部14,判断RAW数据中的信号量的大小关系;以及TOF运算部15,根据信号量比较部14进行的信号量的大小关系的判断结果,生成并输出距离信号,该距离信号表示到对象物体OB的距离。在此,固体摄像部12,包括不同的多个信号蓄积区域,该不同的多个信号蓄积区域用于蓄积在相同的像素检测的信号,该不同的多个信号蓄积区域的每一个,蓄积相对于发光信号的定时,曝光信号的定时不同的曝光期间中曝光的所述信号,所述曝光信号指示从对象物体OB反射的反射光的曝光,信号量比较部14,判断蓄积在所述不同的多个信号蓄积区域的多个所述信号的信号量的大小关系,TOF运算部15,从固体摄像部12或信号量比较部14接受RAW数据,利用按照信号量的大小关系的判断结果来选择的运算式,算出到对象物体OB的距离,从而生成并输出距离信号。
通过所述构成,不同的多个信号蓄积区域,不专门用于背景光就能够消除背景光,并且全部用于蓄积相对于发光信号的定时曝光信号的定时分别不同的曝光期间曝光的信号,该曝光信号是对从对象物体OB反射的反射光进行曝光的信号。从而,曝光期间扩大,能够捕捉反射光的期间扩大,从而不需要扩大光源的脉冲宽度,就能够使测距范围扩大到更远侧或者更近侧的至少一方、或者双方。
并且,固体摄像部12,针对包括对象物体OB的区域,按照曝光信号表示的定时进行多次曝光,从而生成RAW数据,所述RAW数据是与该多次曝光的曝光量的总和对应的摄像信息。
因此,能够实现高S/N以及高测距精度。此外,能够抑制发光强度,能够实现低功耗化。
此外,所述不同的多个信号蓄积区域中,至少一个相同的信号蓄积区域,可以蓄积多个信号,该多个信号是相对于发光信号、曝光信号的定时以不同的多个定时进行曝光而获得的。
从而,不需要增加信号蓄积区域,就能够更加扩大曝光时间,能够使捕捉反射光的期间进一步扩大,所以不需要扩大光源的脉冲宽度,就能够使测距范围进一步扩大到更远侧或者更近侧的至少一方、或者双方。
并且,信号量比较部14具备:噪声消除部26,从固体摄像部12接受的RAW数据中,消除噪声;信号区分部27,根据从噪声消除部26接受的噪声消除后的RAW数据中的、蓄积在不同的多个信号蓄积区域的多个信号的信号量的大小关系,区分包含多个反射光的信号和只基于背景光的信号,并将信号量的大小关系的判断结果传输到TOF运算部25;背景光消除部28,从信号区分部27接受的包含多个反射光的信号中减去只基于背景光的信号,从而消除背景光信号;以及异常值判断部29,根据由背景光消除部28消除了背景光信号的多个信号,判断异常值,并将该结果传输到TOF运算部25。
因此,对消除了噪声的信号之间的信号量的大小进行比较,所以能够防止误判定,能够实现更高精度的测距。此外,通过判断消除了背景光的多个信号的信号量,在对象物体OB处于测量范围外的情况下,能够观察到消除了背景光的多个信号全部的信号量极为接近零,所以容易进行测距范围外的判断,能够实现更高精度的测距。
此外,本发明不仅作为具有这样的特征性构成的测距摄像装置来实现,而且也作为该测距摄像装置的测距方法来实现。
换言之,在本发明涉及的测距摄像装置的测距方法,固体摄像部12与不同的多个信号蓄积区域对应地蓄积多个信号,该不同的多个信号蓄积区域用于蓄积在相同的像素检测的信号,该多个所述信号是相对于发光信号的定时、曝光信号的定时不同的曝光期间曝光而获得的,信号量比较部14,判断蓄积在不同的多个信号蓄积区域的信号的信号量的大小关系,TOF运算部15,按照信号量比较部14的判断结果,选择用于算出到对象物体OB的距离的运算式,利用该选择的运算式,算出到对象物体OB的距离,从而生成并输出距离信号。
从而不同的多个信号蓄积区域,不专门用于背景光就能够消除背景光,并且全部用于蓄积相对于发光信号的定时、曝光信号的定时分别不同的曝光期间曝光的信号,该曝光信号是对从对象物体OB反射的反射光进行曝光的信号。从而,曝光期间扩大,能够捕捉反射光的期间扩大,从而不需要扩大光源的脉冲宽度,就能够使测距范围扩大到更远侧或者更近侧的至少一方、或者双方。
此外,本发明不仅作为具有这样的特征性构成的测距摄像装置以及测距方法来实现,而且将该测距摄像装置中使用的固体摄像部12作为固体摄像装置来实现。换言之用于测距摄像装置1的固体摄像装置,所述测距摄像装置1具备上述的驱动控制部13、光源部11、固体摄像部12即固体摄像装置、信号量比较部14、以及TOF运算部15,其中不同的多个信号蓄积区域的每一个,用于蓄积相对于发光信号的定时、曝光信号的定时不同的曝光期间进行曝光而获得的信号,所述曝光信号指示从对象物体OB反射的反射光的曝光。
通过所述构成,不同的多个信号蓄积区域,不专门用于背景光就能够消除背景光,并且全部用于蓄积相对于发光信号的定时曝光信号的定时分别不同的曝光期间进行曝光而获得的信号,该曝光信号是对从对象物体OB反射的反射光进行曝光的信号。从而,曝光期间扩大,能够捕捉反射光的期间扩大,从而不需要扩大光源的脉冲宽度,就能够使测距范围扩大到更远侧或者更近侧的至少一方、或者双方。
此外,所述固体摄像装置可以是CCD型固体摄像元件。
因此,作为蓄积不同的多个曝光期间获得的信号的区域,可以利用在垂直传输部已经构成的多个数据包。从而,不需要追加形成信号蓄积单元,在同样的面积中使光电二极管形成为更大,能够使饱和灵敏度变得更大,最大受光量变大,能够实现高精度的测距。此外,能够进行将多个光电二极管一并重置的动作,即进行全局重置,能够实现更高精度的测距。
(其他实施方式)
以上,针对本申请的测距摄像装置,根据所述实施方式进行了说明,本申请的测距摄像装置,不限定于所述实施方式。组合所述实施方式中的任意构成要素来实现的其他实施方式、在不脱离本发明主旨的范围内对所述实施方式实施本领域技术人员能够想出的各种变形而得到的变形例、以及内置了本申请的测距摄像装置的各种设备也包括在本发明。
例如,在本申请的测距摄像装置,在检测物体的多个方式中,采用了利用到测量对象物的光往返的飞行时间来测距的TOF(time of flight)方式,但是本发明也包括利用其他测距方式的情况。
本发明涉及的测距摄像装置,不依存于周围环境,就能够实现测量对象物的高精度的三维测量,所以有用于例如人物、建筑物等的三维测量。
符号说明
1 测距摄像装置
11 光源部
12 固体摄像部
13 驱动控制部
14,24 信号量比较部
15,25 TOF运算部(距离运算部)
26 噪声消除部
27 信号区分部
28 背景光消除部
29 异常值判断部
101 光电二极管
102 垂直传输部
103 水平传输部
104 信号电荷检测部