距离图像生成装置以及距离图像生成方法
技术领域
本发明涉及距离图像生成装置以及距离图像生成方法,特别是涉及具有对脉冲光以及反射光的光量进行调整的功能的距离图像生成装置。
背景技术
近年来,在机器人学、汽车、安全、娱乐等多个领域中,实时获得距离图像的距离图像传感器(即,距离图像生成装置)受到关注。这里,距离图像指的是对象物在空间中的三维信息,由表示到对象物(即,被摄体)的距离的像素值构成。
作为用于获得距离图像的测距方法,使用Time-Of-Flight(飞行时间,以下也简称为“TOF”)方式,该TOF方式中,利用从发出基于近红外光等的脉冲光起到接受来自对象物的反射光为止的光的飞行时间来获得距离图像。这里,TOF方式的测距所需的发光量根据与对象物的距离以及对象物的反射率而变动,因此不能事先得知所需的发光量。因此,以往,关于TOF方式的测距所需的发光量的调整,提出了各种技术(例如参照专利文献1、2)。
在专利文献1中,公开了如下方法:使发光元件发光,在由受光元件接受的反射光的光量比适合测距的光量大的情况下,依次减少发光量,在反射光的光量比适合测距的光量小的情况下,依次增加发光量,从而事先将发光元件的发光量设定为适合测距的光量。
另外,在专利文献2中,公开了如下方法:具备调整发光量的光量调整单元,由光量调整单元根据被摄体或距离来调整脉冲光的强度(即,瓦特数)。
现有技术文献
专利文献
专利文献1:日本特开昭60-064283号公报
专利文献2:日本特开2011-179997号公报
发明内容
发明要解决的课题
然而,专利文献1所公开的技术虽然在由一个发光元件和一个受光元件构成的距离计测器中有效,但在针对一个发光元件设有多个受光元件的情况下,不能将这些多个受光元件中的受光量设定为适当的值。因此,存在不能应用于从一个发光元件和多个受光元件生成距离图像的距离图像生成装置的问题。
另外,专利文献2所公开的技术虽然能够应用于距离图像生成装置,但需要对脉冲光的强度进行调整的专用的光源驱动器,存在导致距离图像生成装置的成本上升的问题。或者,在不使用专用的光源驱动器的情况下,需要对脉冲光的强度进行调整的模拟控制,存在发光量的调整困难的问题。
因此,本发明是鉴于上述问题而完成的,目的在于提供能够比以往更简易地调整测距所需的发光量的距离图像生成装置以及距离图像生成方法。
用于解决课题的手段
为了实现上述目的,本发明的一方式的距离图像生成装置具备:发光部,朝向对象物发出脉冲光;受光部,由多个受光元件构成,该多个受光元件在与所述脉冲光的发光期间建立了关联的曝光期间接受与所述脉冲光对应的反射光;距离计算部,基于由所述受光部接受的所述反射光的光量,针对所述多个受光元件分别计算到所述对象物的距离,从而生成距离图像;以及光量调整部,基于由所述距离计算部生成的所述距离图像,决定所述发光部发出所述脉冲光的发光次数以及所述受光部接受所述反射光的曝光次数,并对所述发光部以及所述受光部进行控制,以使得所述发光部发出所决定的所述发光次数的所述脉冲光、并且所述受光部接受所决定的所述曝光次数的所述反射光;所述距离计算部基于由所述受光部接受的所述曝光次数所对应的所述反射光的光量,计算所述距离。
另外,为了实现上述目的,本发明的一方式的距离图像生成方法为由距离图像生成装置生成距离图像的距离图像生成方法,其中,所述距离图像生成装置具备:发光部,朝向对象物发出脉冲光;以及受光部,由多个受光元件构成,该多个受光元件在与所述脉冲光的发光期间建立了关联的曝光期间接受与所述脉冲光对应的反射光;所述距离图像生成方法包括:距离计算步骤,基于由所述受光部接受的所述反射光的光量,针对所述多个受光元件分别计算到所述对象物的距离,从而生成距离图像;以及光量调整步骤,基于在所述距离计算步骤中生成的所述距离图像,决定所述发光部发出所述脉冲光的发光次数以及所述受光部接受所述反射光的曝光次数,并对所述发光部以及所述受光部进行控制,以使得所述发光部发出所决定的所述发光次数的所述脉冲光、并且所述受光部接受所决定的所述曝光次数的所述反射光;在所述距离计算步骤中,基于由所述受光部接受的所述曝光次数所对应的所述反射光的光量,计算所述距离。
另外,本发明不仅能够作为距离图像生成装置以及距离图像生成方法而实现,也能够作为使计算机执行距离图像生成方法的程序而实现,或作为记录有该程序的CD-ROM等计算机可读取的非暂时性的记录介质而实现。
发明效果
根据本发明,可提供能够比以往更简易地调整测距所需的发光量的距离图像生成装置以及距离图像生成方法。
附图说明
图1是表示实施方式的距离图像生成装置的结构的框图。
图2A是说明实施方式的距离图像生成装置的整体时间一定模式的图。
图2B是说明实施方式的距离图像生成装置的时间间隔一定模式的图。
图3是说明图1所示的距离计算部所执行的距离的计算方法的图。
图4是说明图1所示的光量调整部决定发光次数以及曝光次数时所使用的多个距离范围的图。
图5是表示图1所示的光量调整部所使用的、预先确定的与多个距离范围分别对应的设定次数的例子的图。
图6是表示实施方式的距离图像生成装置的动作的流程图。
图7是表示实施方式的变形例1的距离图像生成装置的动作的流程图。
图8是表示实施方式的变形例2的距离图像生成装置的动作的流程图。
图9A是表示实施方式的变形例3中的光量调整部所使用的、预先确定的与多个距离分别对应的设定次数的例子的图。
图9B是表示实施方式的变形例3的距离图像生成装置的动作的流程图。
具体实施方式
以下,使用附图详细地说明本发明的实施方式。另外,以下说明的实施方式均表示本发明的一具体例。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤、步骤的顺序等是一个例子,并非旨在限定本发明。另外,关于以下的实施方式中的构成要素中的、未记载于表示本发明的最上位概念的独立权利要求的构成要素,作为任意的构成要素进行说明。另外,各图不一定是严格图示的。在各图中,对于实质上相同的结构标注相同的附图标记,并有省略或者简化重复的说明的情况。
图1是表示实施方式的距离图像生成装置10的结构的框图。距离图像生成装置10是通过TOF方式生成距离图像的装置,具备发光部11、受光部12、距离计算部13、以及光量调整部14。
发光部11是朝向对象物发出脉冲光的光源,例如是发出红外光的激光元件或者LED。
受光部12是由在与发光部11中的脉冲光的发光期间建立了关联的曝光期间接受与脉冲光对应的反射光的多个受光元件构成的传感器,例如是由以二维状配置的光电二极管构成、并输出表示各光电二极管中的受光量的数字值的图像传感器。
距离计算部13是基于由受光部12接受的反射光的光量,针对多个受光元件分别计算到对象物的距离,从而生成距离图像(即帧)的电路,例如是由暂时保持从受光部12输出的数据等的RAM、保存有程序的ROM、执行程序的处理器等构成的信号处理电路。另外,距离计算部13按照每一帧重复进行如下处理:基于由受光部12接受的曝光次数所对应的反射光的光量,计算各受光元件中的距离。
光量调整部14是如下电路:基于由距离计算部13生成的距离图像,决定发光部11发出脉冲光的发光次数以及受光部12接受反射光的曝光次数,并控制发光部11以及受光部12以使得发光部11发出所决定的发光次数的脉冲光、并且受光部12接受所决定的曝光次数的反射光,从而对所需的发光量进行调整,并且光量调整部14例如是由RAM、保存有程序的ROM、执行程序的处理器等构成的信号处理电路。
更详细地说,光量调整部14使用距离图像计算到对象物的代表距离,基于计算出的代表距离,将从预先确定的与多个距离范围分别对应的多个设定次数中选择的一个设定次数决定为发光次数以及曝光次数。另外,代表距离例如使用距离图像所示的到对象物的一个距离、或者多个距离的平均值、中央值、最小值、最大值、或者众数。到对象物的多个距离例如由距离图像所示的全部距离、或者距离图像所示的全部距离中的进入预先确定为距离图像生成装置10能够测距的范围的距离范围的距离或从距离图像中的二维空间的中心处的距离进入一定范围内的距离等确定。
另外,光量调整部14按每一帧重复进行如下处理:基于第一帧的距离图像(具体而言,代表距离的计算),决定第一帧的后面的第二帧(在本实施方式中,是紧接着第一帧之后的第二帧)的发光次数以及曝光次数,并控制发光部11以及受光部12。此时,以流水线方式且并行地处理距离图像的生成和发光次数及曝光次数的决定。例如,并行地处理第二帧的距离图像的生成和基于第一帧的距离图像进行的发光次数以及曝光次数的决定。
另外,在本实施方式中,根据使用图3在后面叙述的测距的原理,发光次数与曝光次数相同,因此发光次数以及曝光次数可以用一个数值来表示。
另外,作为光量调整部14对发光部11以及受光部12的控制方法,选择两种中的任一种。一种是使整体时间为一定并调整连续发出的脉冲光的时间间隔的方法(以下,将该方法也称作“整体时间一定模式”)。图2A是说明实施方式的距离图像生成装置10的整体时间一定模式的图。此处示出了发出脉冲光的定时(即,发光期间的定时)。另外,在图2A中,为了方便说明,省略了与发光期间建立了关联的曝光期间的图示。如图2A所示,在整体时间一定模式中,光量调整部14控制发光部11以及受光部12,以使得在预先确定的一定时间内,发光部11发出所决定的发光次数的脉冲光,并且受光部12接受所决定的曝光次数的反射光。即,光量调整部14在减小发光量时扩大所发出的脉冲光的时间间隔,另一方面,在增大发光量时缩窄所发出的脉冲光的时间间隔。
另一种是使连续发出的脉冲光的时间间隔一定并调整整体时间的方法(以下,将该方法也称作“时间间隔一定模式”)。图2B是说明实施方式的距离图像生成装置10的时间间隔一定模式的图。此处示出了发出脉冲光的定时(即,发光期间的定时)。另外,在图2B中,为了方便说明,省略了与发光期间建立了关联的曝光期间的图示。如图2B所示,在时间间隔一定模式中,光量调整部14控制发光部11以及受光部12,以使得发光部11以预先确定的一定时间间隔重复发出发光次数的脉冲光、并且受光部12以一定时间间隔重复接受曝光次数的反射光。即,光量调整部14在减小发光量时,减少以一定的时间间隔发出的脉冲光的整体时间(即,减少脉冲光的个数),另一方面,在增大发光量时,加长以一定的时间间隔发出的脉冲光的整体时间(即,增多脉冲光的个数)。
另外,整体时间一定模式以及时间间隔一定模式的选择是基于来自用户的指示等而预先设定的。
图3是说明图1所示的距离计算部13所执行的距离的计算方法的图。这里,示出了发光期间与曝光期间的关联(即,定时)不同的两种发光以及曝光的组(将两种中的一方称作“A0曝光”,将另一方称作“A1曝光”)的定时。
在A0曝光中,发光部11发出具有固定的发光期间Tp的脉冲光。受光部12在与该发光期间建立了关联的曝光期间(这里是从发光期间Tp的开始定时到比发光期间Tp的结束定时迟的规定的定时为止的期间)接受反射光(将该受光量设为A0)。
在A1曝光中,发光部11发出具有与A0曝光相同的发光期间Tp的脉冲光。受光部12在与该发光期间建立了关联的曝光期间(这里是从发光期间Tp的结束定时到经过一定时间为止的期间)接受反射光(这里,在时间Δt期间受光)(将该受光量设为A1)。
距离计算部13按照以下的式1计算距离Z。
Z=c×(Tp/2)×(A1/A0) 式1
这里,c是光速。
另外,上述式1如以下那样导出。即,距离Z由于是光的飞行时间,因此使用图3中的时间Δt,由以下的式2表示。
Z=c×(Δt/2) 式2
上述式2通过对右边乘以(Tp/Tp),如以下的式3那样变形。
Z=c×(Tp/2)×(Δt/Tp) 式3
由于能够将上述式3的右边的(Δt/Tp)中的Δt替换为A1、并且将Tp替换为A0,因此通过该替换,导出上述式1。
另外,距离计算部13使用发光期间以及对于多个脉冲光的与发光期间建立了关联的曝光期间中的多个反射光的光量,计算到对象物的距离。即,距离计算部13中作为上述式1中的A0而使用按每一帧决定的曝光次数所对应的A0曝光中的受光量A0的合计,作为上述式1中的A1而使用按每一帧决定的曝光次数所对应的A1曝光中的受光量A1的合计。由此,按每一帧计算距离。
另外,在本实施方式中,光量调整部14在发光次数以及曝光次数的决定中,将图3所示的发光(即,两次发光)以及曝光(即,两次曝光)作为“一次发光次数以及的曝光次数”(即1组)来决定最终的发光次数以及曝光次数。
图4是说明图1所示的光量调整部14在决定发光次数以及曝光次数时所使用的多个距离范围的图。这里,作为从距离图像生成装置10到对象物的距离,示出了小于作为最近距离的20cm、从最近距离到70cm、从70cm到作为最远距离的120cm、最远距离以上的距离范围。另外,最近距离典型来说是能够由距离图像生成装置10测距的最小的距离,但也可以是对这样的最小的距离加上或减去偏差而得的值。另外,最远距离典型来说是能够由距离图像生成装置10测距的最大的距离,但也可以是对这样的最大的距离加上或减去偏差而得的值。
在本实施方式中,光量调整部14如图5所示,作为所决定的发光次数以及曝光次数而使用与图4所示的4种距离范围分别对应的设定值。即,光量调整部14使用紧前的帧的距离图像计算到对象物的代表距离,基于计算出的代表距离,将从预先确定的与多个距离范围分别对应的多个设定次数中选择的一个设定次数决定为接下来的帧中的发光次数以及曝光次数。
图5是表示图1所示的光量调整部14所使用的、预先确定的与多个距离范围分别对应的设定次数的例子的图。关于第一范围(小于作为最近距离的20cm)、第二范围(从最近距离到70cm)、第三范围(从70cm到作为最远距离的120cm)、第四范围(最远距离以上),分别决定200次、300次、500次、700次作为设定次数(即,决定的发光次数以及曝光次数)。另外,这多个设定次数中的最小值(即,第一范围的设定次数)被设定为适合对所测定的距离范围中的最近处进行测定的值(即,200次)。另外,这多个设定次数中的最大值(即,第四范围的设定次数)被设定为适合对所测定的距离范围中的最远处进行测定的值(即,700次)。另外,这些设定次数也可以作为数据表存储于光量调整部14。
接下来,对如以上那样构成的本实施方式的距离图像生成装置10的动作进行说明。
图6是表示实施方式的距离图像生成装置10的动作(即,距离图像生成方法)的流程图。
首先,光量调整部14在未生成距离图像的初始状态下,将与多个距离范围中的最近的距离范围对应的设定次数决定为发光次数以及曝光次数(S1)。具体而言,光量调整部14将与第一范围对应的设定次数(这里200次)决定为发光次数以及曝光次数的初始值(即,初始化)。
接下来,光量调整部14控制发光部11以及受光部12以使得发光部11发出所决定的发光次数的脉冲光、并且受光部12接受所决定的曝光次数的反射光,从而开始一帧的动作(S2)。具体而言,在初次时,在光量调整部14的控制下,发光部11发出200次的脉冲光,受光部12通过200次的曝光而接受反射光,从而图3所示的A0曝光以及A1曝光重复200次。然后,由距离计算部13基于由受光部12接受的反射光的光量,按照上述式1,针对多个受光元件分别计算到对象物的距离,从而生成距离图像(即帧)。
接着,光量调整部14使用由距离计算部13生成的距离图像计算到对象物的代表距离X(S3)。例如光量调整部14计算距离图像中的二维空间的中心处的距离作为代表距离X。
然后,光量调整部14基于计算出的代表距离X,将从预先确定的与多个距离范围分别对应的多个设定次数中选择出的一个设定次数决定为用于下一帧中的测距的发光次数以及曝光次数(S4~S10)。
具体而言,光量调整部14判断代表距离X是否属于第一范围的距离范围(即,是否小于20cm)(S4),在代表距离X属于第一范围的距离范围的情况下(S4中是),将第一范围的设定次数(即,200次)决定为用于下一帧中的测距的发光次数以及曝光次数(S5)。
另一方面,在代表距离X不属于第一范围的距离范围的情况下(S4中否),接着,光量调整部14判断代表距离X是否属于第二范围的距离范围(即,是否为20cm以上并且小于70cm)(S6),在代表距离X属于第二范围的距离范围的情况下(S6中是),将第二范围的设定次数(即,300次)决定为用于下一帧中的测距的发光次数以及曝光次数(S7)。
另一方面,在代表距离X不属于第二范围的距离范围的情况下(S6中否),接着,光量调整部14判断代表距离X是否属于第三范围的距离范围(即,是否为70cm以上并且小于120cm)(S8),在代表距离X属于第三范围的距离范围的情况下(S8中是),将第三范围的设定次数(即,500次)决定为用于下一帧中的测距的发光次数以及曝光次数(S9)。
另一方面,在代表距离X不属于第三范围的距离范围的情况下(S8中否),光量调整部14判断为代表距离X属于第四范围的距离范围(即,120cm以上),将第四范围的设定次数(即,700次)决定为用于下一帧中的测距的发光次数以及曝光次数(S10)。
若这样一帧的动作结束(S11),则对于接下来的帧进行相同的动作(S2~S10)。即,光量调整部14控制发光部11以及受光部12以使得发光部11发出所决定的发光次数的脉冲光、并且受光部12接受所决定的曝光次数的反射光,从而开始一帧的动作(S2)。然后,光量调整部14使用由距离计算部13生成的距离图像计算到对象物的代表距离X(S3)。而且,光量调整部14基于计算出的代表距离X,将从预先确定的与多个距离范围分别对应的多个设定次数中选择出的一个设定次数决定为用于下一帧中的测距的发光次数以及曝光次数(S4~S10)。
另外,上述每帧的动作(S2~S11)被重复至光量调整部14受理来自用户的停止指示为止。
如以上那样,本实施方式的距离图像生成装置10具备:发光部11,朝向对象物发出脉冲光;受光部12,由在与脉冲光的发光期间建立了关联的曝光期间接受与脉冲光对应的反射光的多个受光元件构成;距离计算部13,基于由受光部12接受的反射光的光量,针对多个受光元件分别计算到对象物的距离,从而生成距离图像;以及光量调整部14,基于由距离计算部13生成的距离图像,决定发光部11发出脉冲光的发光次数以及受光部12接受反射光的曝光次数,并控制发光部11以及受光部12,以使得发光部11发出所决定的发光次数的脉冲光、并且受光部12接受所决定的曝光次数的反射光;距离计算部13基于由受光部12接受的曝光次数所对应的反射光的光量,计算距离。
由此,通过调整发光部11发出脉冲光的发光次数以及受光部12接受反射光的曝光次数来调整发光部11的发光量,因此不需要用于调整脉冲光的强度的专用的光源驱动器或模拟控制,可实现能够比以往更简易地调整测距所需的发光量的距离图像生成装置10。
另外,光量调整部14使用距离图像计算到对象物的代表距离,基于计算出的代表距离,将从预先确定的与多个距离范围分别对应的多个设定次数中选择出的一个设定次数决定为发光次数以及曝光次数。
由此,可依赖于到对象物的代表距离而适当地调整发光量。
另外,光量调整部14在未生成距离图像的初始状态下,将与多个距离范围中的最近的距离范围对应的设定次数决定为发光次数以及曝光次数。
由此,在对象物位于距离图像生成装置10附近的情况下,可在短时间内设定发光次数以及曝光次数。
另外,多个设定次数中的最小值被设定为适合对所测定的距离范围中的最近处进行测定的值。
由此,在发光次数以及曝光次数的决定处理中,抑制比对能够测距的最小距离进行测定所需的次数小的次数被设定为发光次数以及曝光次数的不良情况的产生。
另外,多个设定次数中的最大值被设定为适合对所测定的距离范围中的最远处进行测定的值。
由此,在发光次数以及曝光次数的决定处理中,抑制比对能够测距的最大距离进行测定所需的次数大的次数被设定为发光次数以及曝光次数的不良情况的产生。
另外,作为发光部11以及受光部12的控制方法之一(整体时间一定模式),光量调整部14对发光部11以及受光部12进行控制,以使得在预先确定的一定时间内,发光部11发出所决定的发光次数的脉冲光,并且受光部12接受所决定的曝光次数的反射光。
由此,即使在对象物移动的情况下,发光以及曝光所需的整体时间也不会按每一帧变化,因此可针对移动体重复进行稳定的距离计测。
另外,作为发光部11以及受光部12的控制方法的另一个(时间间隔一定模式),光量调整部14对发光部11以及受光部12进行控制,以使得发光部11以预先确定的一定时间间隔重复发出发光次数的脉冲光、并且受光部12以一定时间间隔重复接受曝光次数的反射光。
由此,在到对象物的距离小的情况下,在各帧中在短时间内完成发光以及曝光,生成距离图像。
另外,距离计算部13以帧周期重复距离图像的生成,光量调整部14按每一帧重复以下处理:基于第一帧的距离图像决定第一帧的后面的第二帧中的发光次数以及曝光次数,并控制发光部11以及受光部12。
由此,按每一帧重复进行测定到对象物的距离并决定后面的帧中的发光次数以及曝光次数的处理,因此即使在对象物移动的情况下,也可进行基于与到对象物的距离的变化相应的适当的发光量的测距。
另外,发光部11发出具有固定的发光期间的脉冲光,距离计算部13使用发光期间以及对于多个脉冲光的与发光期间建立了关联的曝光期间中的多个反射光的光量,计算到对象物的距离。
由此,使用多个反射光的光量计算到对象物的距离,因此能够不依赖于发光次数以及曝光次数而以相同的算法(即,式1)进行高速的距离计算。
另外,本实施方式的距离图像生成方法是由距离图像生成装置10生成距离图像的方法,距离图像生成装置10具备:发光部11,朝向对象物发出脉冲光;以及受光部12,由在与脉冲光的发光期间建立了关联的曝光期间接受与脉冲光对应的反射光的多个受光元件构成;距离图像生成方法包括:距离计算步骤(S3),基于由受光部12接受的反射光的光量,针对多个受光元件分别计算到对象物的距离,从而生成距离图像;以及光量调整步骤(S4~S10、S2),基于通过距离计算步骤生成的距离图像,决定发光部11发出脉冲光的发光次数以及受光部12接受反射光的曝光次数,控制发光部11以及受光部12,以使得发光部11发出所决定的发光次数的脉冲光、并且受光部12接受所决定的曝光次数的反射光;在距离计算步骤(S2)中,基于由受光部12接受的曝光次数所对应的反射光的光量,计算距离。
由此,通过调整发光部11发出脉冲光的发光次数以及受光部12接受反射光的曝光次数来调整发光部11的发光量,因此不需要用于调整脉冲光的强度的专用的光源驱动器或模拟控制,可实现能够比以往更简易地调整测距所需的发光量的距离图像生成方法。
(变形例1)
接下来,对上述实施方式的变形例1的距离图像生成装置进行说明。本变形例的距离图像生成装置具备与上述实施方式的距离图像生成装置10基本相同的结构。但是,在本变形例中,光量调整部14在发光次数以及受光次数的决定中,除了图5所示的与多个距离范围对应的多个设定次数之外,还在代表距离满足规定的条件的情况下,将预先确定的上限次数或者下限次数决定为发光次数以及曝光次数。更详细地说,光量调整部14在代表距离属于第一范围的距离范围、并且检测出受光部12的饱和的情况下,将预先确定的下限次数决定为发光次数以及曝光次数,另一方面,在代表距离属于第四范围的距离范围、并且检测出来自受光部12的输出信号不大于阈值的情况下,将预先确定的上限次数决定为发光次数以及曝光次数。另外,受光部12的饱和指的是受光部12接受了超过能够接受的最大的受光量的光的状态。
图7是表示实施方式的变形例1的距离图像生成装置的动作的流程图。对于上述实施方式的流程图追加了步骤S12、S13、S14、S15。以下,对与上述实施方式相同的步骤标注相同的附图标记并省略说明,仅对不同之处进行说明。
在步骤S4中,光量调整部14判断为代表距离X属于第一范围的距离范围(S4中是),将第一范围的设定次数(即,200次)决定为用于下一帧中的测距的发光次数以及曝光次数(S5),之后,判断受光部12是否饱和(S12)。具体而言,光量调整部14判断紧前的步骤S2中的A0曝光中的受光量A0的合计值是否超过了与受光部12的饱和对应的第一阈值。
然后,在判断为饱和的情况下(S12中是),光量调整部14将预先确定的下限次数决定为用于下一帧中的测距的发光次数以及曝光次数(S13)。预先确定的下限次数例如是能够计算距离的最低的次数,具体而言是一次。
另一方面,在判断为未饱和的情况下(S12中否),光量调整部14不变更发光次数以及曝光次数。即,将第一范围的设定次数(即,200次)决定为用于下一帧中的测距的发光次数以及曝光次数。
另外,在步骤S8中,光量调整部14在判断为代表距离X不属于第三范围的距离范围的情况下(S8中否),判断来自受光部12的输出信号是否大于阈值(S14)。具体而言,光量调整部14判断紧前的步骤S2中的A0曝光中的受光量A0的合计值是否超过与受光部12的最低灵敏度对应的第二阈值。
然后,在判断为来自受光部12的输出信号大于阈值的情况下(S14中是),光量调整部14与上述实施方式同样将第四范围的设定次数(即,700次)决定为用于下一帧中的测距的发光次数以及曝光次数(S10)。
另一方面,在判断为来自受光部12的输出信号不大于阈值的情况下(S14中否),光量调整部14将预先确定的上限次数决定为用于下一帧中的测距的发光次数以及曝光次数(S15)。预先确定的上限次数例如是在一帧中能够进行的发光以及曝光的最大次数。
如以上那样,在本变形例的距离图像生成装置中,光量调整部14在代表距离满足规定的条件的情况下,将预先确定的上限次数或者下限次数决定为发光次数以及曝光次数。具体而言,光量调整部14中,作为满足规定的条件的情况而在代表距离小于多个距离范围中的最近的距离范围、并且反射光的光量超过第一阈值的情况下,将下限次数决定为发光次数以及曝光次数。
由此,在因对象物极其接近距离图像生成装置等而受光部12饱和的情况下,将与对应于多个距离范围的设定次数不同的下限次数决定为发光次数以及曝光次数,因此与上述实施方式相比,在更宽的距离范围内生成精度高的距离图像。
另外,光量调整部14中,作为满足规定的条件的情况而在代表距离比多个距离范围中的最远的距离范围大并且反射光的光量比第二阈值小的情况下,将上限次数决定为发光次数以及曝光次数。
由此,在因对象物离距离图像生成装置极其远等而来自受光部12的输出信号小的情况下,将与对应于多个距离范围的设定次数不同的上限次数决定为发光次数以及曝光次数,因此与上述实施方式相比,在更宽的距离范围内生成精度高的距离图像。
(变形例2)
接下来,对上述实施方式的变形例2的距离图像生成装置进行说明。本变形例的距离图像生成装置具备与上述实施方式的距离图像生成装置10基本相同的结构。但是,本变形例相当于将上述实施方式的变形例1进一步变形的结构。即,在本变形例中,除了上述实施方式的变形例1中的处理之外,光量调整部14还在未生成距离图像的初始状态下,将与多个距离范围中的最远的距离范围对应的设定次数决定为发光次数以及曝光次数。即,在上述实施方式以及变形例1中,光量调整部14将与多个距离范围中的最近的距离范围对应的设定次数决定为发光次数以及曝光次数的初始值,但在本变形例中,反而将与最远的距离范围对应的设定次数决定为发光次数以及曝光次数的初始值。
图8是表示实施方式的变形例2的距离图像生成装置的动作的流程图。相对于上述实施方式的变形例1的流程图,仅最初的步骤S1a不同。以下,对与上述实施方式以及上述变形例1相同的步骤标注相同的附图标记并省略说明,仅对不同之处进行说明。
在初始化中,光量调整部14在未生成距离图像的初始状态下,将与多个距离范围中的最远的距离范围对应的设定次数决定为发光次数以及曝光次数(S1a)。具体而言,光量调整部14将与第四范围对应的设定次数(这里700次)决定为发光次数以及曝光次数的初始值(即,初始化)。以下的处理与上述变形例1相同。
如以上那样,在本变形例的距离图像生成装置中,光量调整部14在未生成距离图像的初始状态下,将与多个距离范围中的最远的距离范围对应的设定次数决定为发光次数以及曝光次数。
由此,在对象物位于远离距离图像生成装置10的位置的情况下,在短时间内设定发光次数以及曝光次数。
(变形例3)
接下来,对上述实施方式的变形例3的距离图像生成装置进行说明。本变形例的距离图像生成装置具备与上述实施方式的距离图像生成装置10基本相同的结构。但是,在本变形例中,光量调整部14在决定发光次数以及曝光次数时,不使用预先确定的与多个距离范围分别对应的设定次数,而是使用预先确定的与多个距离分别对应的设定次数。以下,仅对与上述实施方式不同的点进行说明。
图9A是表示实施方式的变形例3中的光量调整部14所使用的、预先确定的与多个距离分别对应的设定次数的例子的图,并且与上述实施方式中的图5对应。在本变形例中,关于成为划分多个距离范围的边界的距离、即作为最近距离的20cm、70cm、120cm,分别确定200次、400次、700次作为设定次数(即,决定的发光次数以及曝光次数)。光量调整部14使用这些设定次数决定与代表距离X对应的发光次数以及曝光次数。
图9B是表示实施方式的变形例3的距离图像生成装置的动作的流程图。相对于上述实施方式的流程图,相当于将步骤S5、S7、S9以及S10分别替换为S5a、S7a、S9a以及S10a。以下,对与上述实施方式相同的步骤标注相同的附图标记并省略说明,仅对不同之处进行说明。
光量调整部14在判断为代表距离X属于第一范围的距离范围(即,小于20cm)的情况下(S4中是),将与20cm对应的设定次数(即,200次)决定为用于下一帧中的测距的发光次数以及曝光次数(S5a)。
另外,光量调整部14在判断为代表距离X属于第二范围的距离范围(即,20cm以上并且小于70cm)的情况下(S6中是),使用与20cm对应的设定次数(即,200次)和与70cm对应的设定次数(即,400次)决定用于下一帧中的测距的发光次数以及曝光次数(S7a)。具体而言,光量调整部14如下述式4所示,根据代表距离X,将按比例分配200次和400次而得的设定次数决定为用于下一帧中的测距的发光次数以及曝光次数。
设定次数=200+(400-200)×(X-20)/(70-20)式4
另外,光量调整部14在判断为代表距离X属于第三范围的距离范围(即,70cm以上并且小于120cm)的情况下(S8中是),使用与70cm对应的设定次数(即,400次)和与120cm对应的设定次数(即,700次)决定用于下一帧中的测距的发光次数以及曝光次数(S9a)。具体而言,光量调整部14如下述式5所示,根据代表距离X,将按比例分配400次和700次而得的设定次数决定为用于下一帧中的测距的发光次数以及曝光次数。
设定次数=400+(700-400)×(X-70)/(120-70)式5
另一方面,在代表距离X不属于第三范围的距离范围的情况下(S8中否),光量调整部14判断为代表距离X属于第四范围的距离范围(即,120cm以上),将与120cm对应的设定次数(即,700次)决定为用于下一帧中的测距的发光次数以及曝光次数(S10a)。
如以上那样,本变形例的距离图像生成装置具备:发光部11,朝向对象物发出脉冲光;受光部12,由在与脉冲光的发光期间建立了关联的曝光期间接受与脉冲光对应的反射光的多个受光元件构成;距离计算部13,基于由受光部12接受的反射光的光量,针对多个受光元件分别计算到对象物的距离,从而生成距离图像;以及光量调整部14,基于由距离计算部13生成的距离图像,决定发光部11发出脉冲光的发光次数以及受光部12接受反射光的曝光次数,控制发光部11以及受光部12以使得发光部11发出所决定的发光次数的脉冲光、并且受光部12接受所决定的曝光次数的反射光;距离计算部13基于由受光部12接受的曝光次数所对应的反射光的光量,计算距离。
由此,通过调整发光部11发出脉冲光的发光次数以及受光部12接受反射光的曝光次数来调整发光部11的发光量,因此不需要用于调整脉冲光的强度的专用的光源驱动器或模拟控制,可实现能够比以往更简易地调整测距所需的发光量的距离图像生成装置10。
另外,光量调整部14使用距离图像计算到对象物的代表距离,基于计算出的代表距离,将使用从预先确定的与多个距离分别对应的多个设定次数中选择的至少一个设定次数而确定的设定次数决定为发光次数以及曝光次数。
由此,可依赖于到对象物的代表距离而适当地调整发光量。
另外,多个设定次数中的最小值被设定为适合对所测定的距离范围中的最近(这里20cm)处进行测定的值(这里是200次)。
由此,在发光次数以及曝光次数的决定处理中,抑制比对能够测距的最小距离进行测定所需的次数小的次数被设定为发光次数以及曝光次数的不良情况的产生。
另外,多个设定次数中的最大值被设定为适合对所测定的距离范围中的最远(这里是120cm)处进行测定的值(这里是700次)。
由此,在发光次数以及曝光次数的决定处理中,抑制比对能够测距的最大距离进行测定所需的次数大的次数被设定为发光次数以及曝光次数的不良情况的产生。
以上,基于实施方式以及其变形例1~3说明了本发明的距离图像生成装置以及距离图像生成方法,但本发明并不限定于这些实施方式以及变形例。只要不脱离本发明的主旨,对本实施方式以及变形例实施本领域技术人员所想到的各种变形的方式、组合实施方式以及变形例中的一部分的构成要素而构建的另一方式也包含在本发明的范围内。
例如,在上述实施方式以及变形例中,作为基于TOF的测距方法,使用了图3所示的基于两次曝光的方式,但并不限定于此。例如,也可以是基于一次曝光的方式,其中通过使用一个反射光中的比发光脉冲的结束定时靠前的期间内的反射光的光量、以及比发光脉冲的结束定时靠前的期间内的反射光的光量来计算距离。
另外,图5所示的多个距离范围的个数及具体值、各设定次数、图3所示的多个距离的个数及具体值、各设定次数是一个例子,并不限定于这些数值。
另外,在上述实施方式以及变形例中,发光次数以及曝光次数的初始值使用了与最近或者最远的距离范围或者距离对应的设定次数,但并不限定于这些。例如,也可以是与最近的距离范围或者距离对应的设定次数和与最远的距离范围或者距离对应的设定次数之间的值。由此,在对象物与距离图像生成装置10的距离在最近距离与最远距离之间的情况下,在短时间内设定发光次数以及曝光次数。
另外,在上述实施方式以及变形例中,在光量调整部14决定发光次数以及曝光次数的过程中,作为与代表距离X比较的基准的距离范围或者距离,从最近的距离范围或者距离朝向最远的距离范围或者距离反复进行了比较,但比较的顺序并不限定于这种方向,也可以从最远的距离范围或者距离朝向最近的距离范围或者距离反复进行比较。由此,在对象物与距离图像生成装置的距离相对较大的情况下,能够在短时间内决定发光次数以及曝光次数。
另外,在上述实施方式以及变形例中,基于在第一帧获得的代表距离,决定了紧接着第一帧之后的第二帧的发光次数以及曝光次数,但并不限定于这种时间间隔,例如,也可以基于在第一帧获得的代表距离决定第一帧的两个之后的第三帧的发光次数以及曝光次数。这种时间间隔根据发光次数以及曝光次数的决定所需的处理负荷来决定即可。
另外,在上述实施方式以及变形例中,基于在一个帧获得的代表距离,决定了发光次数以及曝光次数,但也可以基于在两个以上的帧获得的代表距离来决定发光次数以及曝光次数。由此,在与对象物的距离变化了的情况下,所决定的发光次数以及曝光次数的变化变得平缓。
工业上的可利用性
本发明能够用作距离图像生成装置,特别是能够用作可简易地调整测距所需的发光量的距离图像生成装置以及距离图像传感器。
附图标记说明
10 距离图像生成装置
11 发光部
12 受光部
13 距离计算部
14 光量调整部