CN110596727B

CN110596727B - 输出精度信息的测距装置

Info

Publication number: CN110596727B
Application number: CN201910503102.8A
Authority: CN
Inventors: 中村稔; 高桥祐辉; 渡边淳
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2018-06-13
Filing date: 2019-06-11
Publication date: 2023-08-25
Anticipated expiration: 2039-06-11
Also published as: DE102019004031A1; JP6773724B2; CN110596727A; DE102019004031B4; US11693093B2; US20190383906A1; JP2019215260A

Abstract

本发明的测距装置具备精度计算部，该精度计算部根据在相对于测定光的发光定时延迟了预定相位的多个定时所累积的各电荷量的关系按照每个像素来计算精度，测距装置输出计算出的精度。

Description

输出精度信息的测距装置

技术领域

本发明涉及一种根据光的飞行时间来测定到达物体的距离的测距装置，特别涉及输出精度信息的测距装置。

背景技术

作为测定到达物体的距离的测距装置，公知有根据光的飞行时间来输出距离的TOF(time of flight，飞行时间)照相机。TOF照相机大多采用以下的相位差方式，即以预定周期将进行了强度调制的测定光照射给测定对象空间，并检测所照射的测定光与来自测定对象空间的反射光之间的相位差。

在涉及的TOF照相机中，在拍摄了位于极近距离的物体或非常高的反射率的物体的受光元件中，反射光过强，有时会产生饱和而不能够测距。另一方面，在拍摄了遥远的物体或非常低的反射率的物体的受光元件中，反射光过弱，有时会光强度不足而不能够测距。在成为不能够测距的情况下，在典型的TOF照相机中，代替输出距离而输出表示不能够测距的特异值。因此，测距装置的使用者在来自TOF照相机的输出值不是特异值的情况下将输出值作为正确的测距值进行处理。

但是，在TOF照相机中，除了上述2个不能够测距的情况以外，还会由于发射噪声、暗电流噪声、热噪音等不可避免的随机噪音以及A/D转换造成的量子化误差等在测距值中产生偏差。另外，也存在由于物体的移动、周围光的极端的变化等而测距值的精度大幅下降的情况。公知有一种技术(例如参照下述文献1-3)，其为了判定涉及的测距异常，在相对于测定光的发光定时延迟了预定相位的多个定时使受光元件累积电荷，使用所累积的各电荷量的关系。

在日本特开2009-079987号公报中公开以下的测距装置，即相对于测定光的发光定时以0°、90°、180°、270°的4种相位差来取得第一检测信号α、第二检测信号β、第三检测信号γ、第四检测信号δ，计算第一检测信号α和第三检测信号γ之间的第一和W1、第二检测信号β和第四检测信号δ之间的第二和W2，并且当第一和W1与第二和W2之间的差分ΔW为设定值A以上时，判定为由于外光等外部要因而不能够执行正确的相位差的检测以及距离的计算。

日本特表2014-528059号公报中公开一种模糊处理装置，通过相互具有90°相位差的4个控制信号C₁、C₂、C₃、C₄取得的电荷量Q₁、Q₂、Q₃、Q₄中，Q₁-Q₂和Q₃-Q₄之间的关系表示菱形状，所以当在菱形位置以外的区域产生了值时，判断为由于物体、照相机、背景等的移动而产生模糊。

日本特开2011-022089号公报中公开一种空间信息检测装置，将测定光调制成使H电平以及L电平的2值的持续期间随机变化的方形波信号，并通过调制信号的非反转信号即第一定时信号、调制信号的反转信号即第二定时信号、使调制信号的非反转信号延迟了1码片长Tc的第三定时信号、使调制信号的反转信号延迟了1码片长Tc的第四定时信号的4种定时信号来分别取得电荷量A0、A1、A2、A3，当没有满足A0-A2＝0的条件时，判断为由于发射噪声等而到达物体的距离为可测定范围外。

发明内容

由于TOF照相机自身的知识较多，因此在开发使用了TOF照相机的应用装置时，大多将从供应商购入的TOF照相机组装到装置中。应用装置的开发侧使用由TOF照相机输出的距离图像(各个像素的测距值的数据群)以及光强度图像(所照射的测定光(一般为近红外(NIR)光)得到的各个像素的光强度值的数据群即所谓被称为红外(IR)图像、NIR图像等的图像)来生成应用，但是需要将有可能包含相对于距离图像内的所有像素的距离数据平均的以TOF照相机的规格书等记载的大的误差的情况作为前提。

但是，如上所述，TOF照相机在测定原理上受到发射噪声等随机噪音的影响，按照每个像素并且按照每个摄像(按照每个测距)在测距值中会产生偏差。另外，会有由于物体移动、外光变化等的外部要因而测距值按照每个像素且按照每个摄像发生混乱的情况。这些也是使通过规格书等记载的TOF照相机的误差值变大的要因。

因此，寻求一种能够按照每个像素识别距离的误差的通用性高的测距装置。

本公开的一个方式为提供一种测距装置，具备：发光部，其发出照射到测定对象空间的测定光；多个受光元件，其累积与来自测定对象空间的入射光对应的电荷；以及距离计算部，其在相对于测定光的发光定时延迟了预定相位的多个定时按照每个受光元件累积电荷，根据所累积的各电荷量按照每个像素计算到达位于观测方向的物体的距离，该测距装置输出所计算出的距离，该测距装置具备精度计算部，该精度计算部根据在多个定时累积的各电荷量的关系按照每个像素来计算距离的精度，该测距装置输出所计算出的精度。

附图说明

图1是一个实施方式的测距装置的框图。

图2是表示测距装置的发光定时以及摄像定时的一例的时序图。

图3是表示在各个摄像定时所取得的电荷量的一例的图。

图4是表示由于摄像期间中的物体移动、外光变化等外部要因引起的反射光量、受光光量的变化的图。

图5是表示与物体移动、外光变化等对应的电荷量的变化的图。

图6是表示由随机噪音、量子化误差等影响造成的相同测距点的测距值的偏差的直方图。

图7是表示与摄像像素的配置对应的各个像素的精度数据的排列的图。

图8是表示输出了特异值的距离数据的图。

图9是表示距离的偏差的图表。

图10是表示基于精度的距离修正的一例的表。

具体实施方式

以下，参照附图详细说明本公开的实施方式。在各个附图中对相同或类似的结构要素赋予相同或类似的标记。另外，以下所记载的实施方式并不限定权利要求书所记载的发明的技术范围以及用语的意义。

图1是本实施方式的测距装置10的框图。测距装置10例如是通过相位差方式测定到达物体O的距离的TOF照相机，具备发出照射到测定对象空间的测定光L1的发光部11、接受来自测定对象空间的入射光L2的受光部12以及计算到达测定对象空间的物体O的距离的距离计算部13。

发光部11例如由发出NIR光的发光二极管(LED)、半导体激光(LD)等光源构成，根据来自发光/摄像定时控制部14的发光定时信号发出通过预定周期进行了强度调制的测定光L1。调制了的测定光L1可以是正弦波也可以是矩形波。测定光L1通过扩散板15被扩散，被照射到测定对象空间。

受光部12例如由设置了NIR滤波器的CCD、CMOS等图像传感器构成，经由包括聚光透镜等的光学系统16接受入射光L2。入射光L2除了包括通过物体O进行反射的测定光，还包括外光。受光部12具有根据入射光L2累积电荷的多个受光元件17，一个受光元件17相当于1个像素。受光元件17例如由光电二极管、电容器等构成，根据来自发光/摄像定时控制部14的摄像定时信号在相对于测定光L1的发光定时延迟了预定相位的多个摄像定时通过预定的摄像期间来累积电荷。

图2是表示测距装置10的发光定时以及摄像定时的一例的时序图。受光元件17例如在相对于测定光L1的发光定时分别错开了0°、90°、180°、270°相位的4种摄像定时累积电荷Q₁～Q₄。在本实施方式中，优先提高空间分辨率，通过一个受光元件17将摄像定时分开并按顺序即串行地取得Q₁～Q₄。发光脉冲的周期Tp根据测距装置10的测距范围来预先决定，典型地为数十ns前后。例如如果测距范围为10m，则根据10m＝c×Tp/2(c是光速(3×10⁸m/s)。)，Tp为67ns。在一次摄像中没有得到充分的电荷，因此数千次连续地重复上述摄像，滞留适度的电荷而得到Q₁～Q₄。因此，在取得Q₁～Q₄的摄像期间需要数ms。

图3表示在各摄像定时Et1～Et4取得的电荷量Q₁～Q₄的一例。测定光L1设为通过调制周期Tp被强度调制，入射光L2相对于测定光的发光定时具有相位差Td。在没有误差的理想摄像中，电荷量Q₁～Q₄根据4个摄像定时Et1～Et4的相位关系具有公知的下述公式的关系。这里，D是第一电荷量Q₁以及第三电荷量Q₃的和与第二电荷量Q₂以及第四电荷量Q₄的和之间的差分。

D＝|(Q₁+Q₃)-(Q₂+Q₄)|＝0

如果再次参照图1，受光部12通过来自发光/摄像定时控制部14的发光定时信号以及摄像定时信号结束了规定次数的发光以及摄像后，通过放大部20放大被累积在受光部12中的电荷量Q₁～Q₄的电压值，将通过A/D转换部21进行了A/D转换后的值存储在缓冲存储器22中。

在存储在缓冲存储器22中的各电荷量Q₁～Q₄的读出值即使是一个超过预定值时，饱和判定部23判定为饱和产生，按照每个像素且按照每个摄像将判定结果输出给距离计算部13。

光强度计算部24根据存储在缓冲存储器22中的各电荷量Q₁～Q₄的读出值，按照每个像素且按照每个摄像来计算受光强度I。受光强度I例如根据公知的下述公式来计算。计算出的光强度数据被存储在缓冲存储器28中。

当受光强度I小于预定值时，光强度不足判定部25判定为光强度不足，按照每个像素且按照每个摄像将判定结果输出给距离计算部13。另外，光强度不足的判定中也有通过存储在缓冲存储器22中的各电荷量Q₁～Q₄的读出值是否都小于预定值来进行的方法。

并且，如图4所示，会有由于摄像期间中的物体移动、外光变化等外部要因引起反射光量、受光光量发生变化的情况。图5表示在摄像定时Et2～Et4的摄像中，由于物体移动、外光变化等而使来自物体的反射光量、受光光量增加，并且电荷量Q₁～Q₄发生变化的情况。

另外，测距装置10在测定原理上受到随机噪音、A/D转换造成的量子化误差等、各电荷量Q₁～Q₄以及该读出值不同的影响，从而在测距值中会产生有随机性的偏差。图6是表示随机噪音、量子化误差等的影响造成的相同测距点的测距值的偏差的直方图。

因此，如图1所示，本实施方式的测距装置10具备精度计算部26，该精度计算部26根据没有误差的理想摄像的各电荷量的关系与实际所取得的各电荷量Q₁～Q₄的关系，按照每个像素且按照每个摄像计算距离的精度。精度计算部26与图1所示的其他计算部同样，能够构成为例如使计算机的CPU(中央处理装置)等的处理器发挥功能的软件。或者，例如能够作为可执行该软件的处理的至少一部分的处理器等的硬件来实现。

精度计算部26例如根据下述公式来计算精度P。这里，D是上述第一电荷量Q₁以及第三电荷量Q₃的和与第二电荷量Q2以及第四电荷量Q4的和之间的差分，I是上述的受光强度，h是修正系数，也用于百分率化等。e是根据结构误差、部件特性、温度特性、经年变化、环境条件等预料的其他误差(即余量)。针对e，在此不进行相加，而写明为测距装置10的标准，也可以在测距装置的使用者侧根据需要进行相加。

差分D的比例由于根据摄像环境的明亮而发生变动，因此在精度P中，差分D根据受光强度I来进行比例调整。另外，e被预先预定为比0大的常数。在作为理想的各电荷量的关系中，由于差分D为0，因此表示为若精度P越接近0则精度越高，若精度P离0越远则精度变得越低的异常度。在其他实施方式中，精度P可以表示为正常度。精度P可以作为百分率来计算。计算出的精度数据被存储在缓冲存储器28中。

图7表示与摄像像素的配置对应的各个像素的精度数据的排列。根据上述精度数据，不仅在产生了饱和、光强度曝光不足的像素中，即使在产生了随机噪音、物体移动、外光变化等的像素中也能够识别精度较低。即，应用的开发者能够根据上述精度数据按照每个像素且按照每个摄像来识别误差，能够对进行物体检测、形状识别等的应用的精度的提高发挥作用。作为具体的应用能够列举人的移动线路检测、手势识别、入场退场人计数等。

测距装置10还具备精度判定部27，该精度判定部27在精度P不满足预定的精度的情况下判定为精度不良，并且按照每个像素且按照每个摄像将判定结果输出给距离计算部13。例如根据下述公式来判定是否精度不良。这里，k被预先决定为比0大的常数。

P＞k

距离计算部13根据存储在存储器22中的各电荷量Q1～Q₄的读出值，按照每个像素并且按照每个摄像来计算到达位于观测方向的物体的距离。例如根据公知的下述公式来计算距离L。这里，Td是上述的相位差，c是上述的光速，f是频率。

另外，距离计算部13接受从上述3个判定部即饱和判定部23、光强度不足判定部25以及精度判定部27输出的判定结果，输出表示饱和的特异值(例如9999)、表示光强度不足的特异值(例如9998)以及表示精度不良的特异值(例如9997)来代替距离L。另外，距离计算部13在根据上述判定结果输出特异值时，可以省略距离L的计算处理。输出了特异值的距离数据被存储在缓冲存储器28中。

图8是表示输出了特异值的距离数据的图。根据上述的距离数据，在精度不良的情况下可以输出表示精度不良的特异值(9997)来代替距离L，因此不输出错误的距离L。另外，应用的开发者能够根据上述特异值来确定新追加的不能够测距的类别(随机噪音、物体移动、外光变化、A/D转换造成的量子化误差等引起的不能测距)。

如果再次参照图1，则输出控制部29根据存储在缓冲存储器28中的3个数据即光强度数据、距离数据以及精度数据，将光强度图像数据、距离图像数据以及精度图像数据输出给应用30。

测距装置10还可以具备距离修正部31，该距离修正部根据存储在缓冲存储器28中的精度数据以及距离数据来修正距离L。距离修正部31可以将表示精度不良的像素作为中心像素进行平均化滤波器、介质滤波器等图像处理，修正距离。或者，距离修正部31例如可以对于一个像素的多次测距值或附近的多个像素的多个测距值，计算分别加权了精度的倒数而得到的权重平均，来修正距离。

图9是表示距离的偏差的图表。图10是表示基于精度的距离修正的一例的表。图9中表示拍摄了位于100mm前的物体的一个像素中的10次测距值或附近的10个像素的10个测距值的偏差情况以及根据各个测距值的精度(用图下侧的％表示的数值)预想到的各个距离值的最大值和最小值。另外，图10表示图9所示的测距值。此时，距离修正部31对于各个测距值，分别计算加权了精度的倒数的权重平均(1000.029mm)，通过权重平均来修正一个像素的距离或10个像素的距离。

在上述例子中，偶然地小的测距值(980mm、970mm)包括2个，因此受其影响，单纯平均小到约996mm。对此，加权到精度的倒数的权重平均为约1000mm，因此能够降低精度低的测距值的影响。即，能够取得偏差少的高精度的距离。

根据上述实施方式，应用30的开发者能够取得更高精度的距离值，与应用的物体检测、形状识别等精度提高相关。另外，与应用30侧的高精度化相关的处理被简单化。进一步能够提供通用性高的或者更高精度的测距装置10。

在本说明书中说明了各种实施方式，但是本发明不限于上述实施方式而识别出在以下权利要求书记载的范围内能够进行各种的变更。

Claims

1.一种测距装置，其具备：发光部，其发出照射到测定对象空间的测定光；多个受光元件，其累积与来自上述测定对象空间的入射光对应的电荷；以及距离计算部，其在相对于上述测定光的发光定时逐一延迟了90°相位的多个定时按照每个上述受光元件累积电荷，根据上述累积的各电荷量按照每个像素计算到达位于观测方向的物体的距离，该测距装置输出所计算出的上述距离，其特征在于，

该测距装置具备精度计算部，在将上述多个定时累积的各电荷量分别设为Q₁、Q₂、Q₃、Q₄时，上述精度计算部以上述入射光的受光强度对Q₁+Q₃与Q₂+Q₄之间的差分进行比例调整，按照每个像素来计算上述距离的精度，该测距装置输出所计算出的上述精度。

2.根据权利要求1所述的测距装置，其特征在于，

上述多个定时是相对于上述发光定时的0°、90°、180°、270°的4种定时。

3.根据权利要求1或2所述的测距装置，其特征在于，

该测距装置还具备当上述精度不满足预定的精度时判定为精度不良的精度判定部，上述距离计算部针对被判定为上述精度不良的像素而输出表示上述精度不良的特异值来代替上述距离。

4.根据权利要求3所述的测距装置，其特征在于，

上述特异值表示由于在累积上述电荷期间所产生的随机噪音、物体移动、外光变化以及A/D转换造成的量子化误差中至少一个引起的精度不良。

5.根据权利要求1或2所述的测距装置，其特征在于，

该测距装置还具备根据上述精度来修正上述距离的距离修正部。