CN110749896B

CN110749896B - 距离测量装置

Info

Publication number: CN110749896B
Application number: CN201910490425.8A
Authority: CN
Inventors: 增田浩三
Original assignee: Hitachi LG Data Storage Inc
Current assignee: Hitachi LG Data Storage Inc
Priority date: 2018-07-04
Filing date: 2019-06-06
Publication date: 2023-06-20
Anticipated expiration: 2039-06-06
Also published as: CN110749896A; JP2020008344A; US20200011972A1; JP7139168B2

Abstract

本发明的提供一种距离测量装置，其在被摄体的局部区域的受光电平饱和而无法进行测量的情况下，对该区域的距离数据进行补充。距离测量装置(1)具有发光部(11)、受光部(12)以及距离计算部(13)，输出到被摄体为止的每个像素位置的距离数据。饱和检测部(14)检测出受光部12中的受光电平已饱。当检测出饱和时，插补处理部(15)使用接近饱和区域的非饱和区域的距离数据，对从距离计算部(13)输出的距离数据中的饱和区域的距离数据进行插补处理。在插补处理中，使用非饱和区域的一个像素的距离数据的置换或多个像素的距离数据来进行直线插补或曲线插补。

Description

距离测量装置

技术领域

本发明涉及一种根据光的飞行时间来测量到被摄体为止的距离的距离测量装置。

背景技术

已知以下一种技术：根据光的飞行时间来测量到被摄体为止的距离，作为显示距离的图像(距离图像)而输出。该方法被称为TOF法(飞行时间)，从距离测量用照相机(以下，称为TOF照相机或简称为照相机)出射照射光，通过传感器检测来自被摄体的反射光，根据照射光与反射光的时间差来计算距离。此时，在到被摄体为止的距离太近或被摄体的反射率较大的情况下，反射光的强度过强而传感器的检测电平(电荷量)饱和，从而无法正确地测量距离。作为避免这种饱和的对策，在日本特开2011-064498号公报中记载了以下情况：根据到被摄体为止的距离信息来设定拍摄条件，在距离较近的被摄体的情况下减小所发出的光量。另外，在日本特开2017-133853号公报中公开了以下情况：以在多个受光时段分割地接收来自近距离侧的反射光的方式设定受光定时。

发明内容

上述专利文献所记载的技术针对接近照相机的被摄体的情况下的饱和对策较有效，但是有时在同一被摄体内局部区域饱和。例如在对到朝向照相机站立的人为止的距离进行测量的情况下，人的轮廓部分被准确地测量但中心部分饱和而有时距离图像的一部分缺少。在后文中说明其原因，饱和的区域的反射面与照射光大致正交，因此认为与外围区域相比反射光的强度大并且受光电平饱和。其结果，在距离照相机大致相同距离的被摄体内，反射面的倾斜角度不均匀，因此局部产生无法测量的区域。该现象在被摄体的表面材料的反射率不同的情况下也同样如此，在反射率大的区域内局部产生无法测量的区域。

在上述专利文献中提及被摄体整体的距离、反射率的影响，但是并未考虑到在同一被摄体内由表面状态(倾斜角、反射率)引起的局部饱和的问题。

本发明的目的在于，提供一种在被摄体的局部区域的受光电平饱和而无法进行测量的情况下能够对该区域的距离数据进行补充的距离测量装置。

本发明的距离测量装置根据光的飞行时间来测量到被摄体为止的距离，该距离测量装置具备：发光部，其将从光源产生的光照射到被摄体；受光部，其通过将像素排列成二维状的图像传感器来检测从被摄体反射的光；距离计算部，其根据受光部的检测信号，在每个像素位置计算到被摄体为止的距离并输出距离数据；饱和检测部，其检测受光部中的图像传感器的受光电平饱和的情况；插补处理部，其在饱和检测部检测出饱和时，使用接近饱和区域的非饱和区域的距离数据，对从距离计算部输出的距离数据中的饱和区域的距离数据进行插补处理；以及图像处理部，其根据从插补处理部输出的距离数据生成被摄体的距离图像。

根据本发明，即使在被摄体的局部区域由于饱和而无法进行测量的情况下，也能够通过插补处理对距离数据进行补充，从而提供无缺陷的距离图像。

附图说明

通过说明与附图关联的以下的实施例，能够更加明确本发明的上述以及其它目的和特征。

图1是表示实施例1涉及的距离测量装置的结构图。

图2是表示TOF照相机与被摄体(人)的关系的图。

图3是说明照射光和反射光的信号波形、距离计算法的图。

图4是表示被摄体的测量状态与发生饱和的示例的图。

图5是示意性地表示针对图4的被摄体的距离测量结果的图。

图6是表示被摄体表面的反射光的方向的图。

图7是说明发生饱和时的插补处理的图。

图8是表示插补处理的过程的流程图。

图9是说明插补处理的效果的图。

图10是说明实施例2中的插补处理的图。

图11A是表示插补处理的过程的流程图。

图11B是表示插补处理的过程的流程图。

图12A是说明两点间的插补方法的图。

图12B是说明两点间的插补方法的图。

具体实施方式

以下，使用附图说明本发明的实施方式。

实施例1

图1是表示实施例1涉及的距离测量装置的结构图。在距离测量装置1中，通过TOF(Time of Fly，飞行时间)方式来测量到人等被摄体为止的距离，例如通过颜色来显示测量出的到被摄体的各部为止的距离，并作为二维的距离图像而输出。

距离测量装置1具备：TOF照相机10，其通过TOF方式来测量到被摄体为止的距离并输出距离数据；饱和检测部14，其检测TOF照相机10内的受光部12中的图像传感器的受光电平(level)(蓄积电荷)已饱和这一情况；插补处理部15，其将非饱和区域的距离数据保存到存储器，读出该距离数据并进行饱和区域的距离数据的插补处理；以及图像处理部16，其根据插补处理后的距离数据来进行用于改变被摄体位置的色调的着色处理，并输出距离图像。

TOF照相机10具有：发光部11，其从激光二极管(LD)、发光二极管(LED)等光源产生脉冲光而照射到被摄体；受光部12，其通过CCD、CMOS等图像传感器来检测从被摄体反射的脉冲光；以及距离计算部13，其驱动发光部11并且根据受光部12的检测信号来计算到被摄体为止的距离。此外，通过未图示的CPU控制各部的动作。

图2和图3是说明基于TOF法的距离测量的原理的图。在TOF法中，根据照射光信号与反射光信号的时间差、即光的飞行时间来计算距离。

图2是表示TOF照相机10与被摄体2(例如人)的关系的图。TOF照相机10具有发光部11和受光部12，从发光部11向被摄体2出射距离测量用的照射光31。在照射光中使用红外光等。受光部12经由物镜33接收由被摄体2反射的反射光32，通过CCD等将像素排列成二维状的图像传感器34将蓄积于各像素位置的电荷量作为信号而输出。在此，被摄体2存在于从TOF照相机10(发光部11和受光部12)分离了距离L的位置。

图3是说明照射光和反射光的信号波形、距离计算法的图。在出射脉宽(pulsewidth)T₀的照射光31后接收其反射光32为止，产生到被摄体2为止的飞行时间量的延迟时间Td。将光速设为c时，使用式(1)表示到被摄体2为止的距离L与延迟时间Td的关系。

L＝Td×c/2···(1)

即，通过测量延迟时间Td，能够计算出距离L。但是，在该测量方法中，要求高精度地测量延迟时间Td，因此需要驱动高速时钟来计数。

与此相对，存在以下方法：并不直接测量延迟时间Td，而将受光期间分割成多个期间，从各期间的受光量(蓄积电荷量)间接地求出延迟时间Td，测量距离L。在本实施例中，采用该间接式测量方法。

在间接式测量方法中，对一次的照射脉冲T₀，例如分为两个期间进行受光动作。即，反射光32的受光期间为第一栅极信号S₁和第二栅极信号S₂的期间，分别与照射脉冲T₀的长度相等。在该方法中，测量在第一栅极信号S₁的期间蓄积的第一电荷量Q₁以及在第二栅极信号S₂的期间蓄积的第二电荷量Q₂。

能够使用式(2)～(4)计算此时的第一电荷量Q₁、第二电荷量Q₂和延迟时间Td以及到被摄体为止的距离L。在此，将通过传感器的光电变换产生的每个单位时间的电荷量设为I。

Q₁＝I×(T₀-Td)，Q₂＝I×Td···(2)

Td＝T₀×Q₂/(Q₁+Q₂)···(3)

L＝＝T₀×Q₂/(Q₁+Q₂)×c/2···(4)

即，通过测量第一电荷量Q₁和第二电荷量Q₂，能够计算出距离L。根据该间接式测量方法，不需要高精度地测量延迟时间Td，因此较实用。

但是，每个单位时间的发生电荷量I依赖于反射光的强度。因此，在到被摄体为止的距离较近的情况下、反射率较大的情况下，反射光的强度变得过大(用I’表示发生电荷量)，有时受光期间内的蓄积电荷量超过传感器的允许值。其结果，例如在第一电荷量Q1’的测量值中产生饱和现象，从而无法进行准确的距离测量。

图4是表示被摄体的测量状态和发生饱和的示例的图。在使用TOF照相机10对到站立在壁前的被摄体(人)2为止的距离进行测量的状态下，到人2为止的距离为大约1m的近距离。此时，面向照相机10的人的前面中央部的区域21容易变为饱和状态。其理由在于，在中央部的区域21反射面与照射光大致正交，因此返回到照相机10的反射光的强度变大。

图5是示意性地表示针对图4的被摄体的距离测量结果的图。示出了被摄体(人)2的A-A’间的测量距离，但是在中央部的区域21发生饱和，因此无法进行测量。另一方面，在中央部21以外的周围的区域22正常地进行测量。

在本实施例中，发生了由这种饱和引起的不能测量区域的情况下，使用接近该区域的非饱和区域的测量数据对数据进行插补。

在此，研究图4、图5示出的发生饱和的原因。

图6是表示被摄体表面的反射光的方向的图。

(a)表示金属等镜面上的反射方向，入射角θi与反射角θr变得相等(正反射)。也就是说，反射光仅为一个方向，因此在入射角θi较小的情况下(垂直入射)，强反射光返回至照相机而容易饱和。另一方面，在入射角θi较大的情况下(倾斜入射)，反射光并不返回到照相机，无法进行距离测量。

(b)表示树脂等扩散材料的表面上的反射方向，与入射角θi无关地，反射光在整个方向上反射(称为全漫反射)。在该情况下，反射光与被摄体表面的倾斜角无关地返回到照相机，但是为漫射光，因此照相机所接收的反射光的强度变小。

(c)表示通常材料的反射方向，(a)的正反射与(b)的全方向漫反射这两者的状态被混合。也就是说，反射方向以正反射决定的方向θr为峰值以一定宽度分散。其结果，在入射角θi较小的情况下(垂直入射)，接近分散中的峰值的强反射光返回至照相机而容易饱和。另一方面，在入射角θi较大的情况下(倾斜入射)，从分散中的峰值偏离的弱反射光返回至照相机，但对于距离测量是充分的强度。

在图4示出的人的被摄体中，其表面状态(衣服)相当于(c)。因此，如图5所示，接近峰值的强反射光从面向照相机的人的平面部分(区域21)返回而发生饱和，在其周围的倾斜部分(区域22)处成为弱反射光，因此认为并未发生饱和。换言之，即使在同一被摄体内大致相同距离处，因反射面的倾斜状态而发生饱和的可能性发生变化，在倾斜区域中能够获取距离数据。根据该情况，在本实施例中，将饱和区域的距离数据通过接近该饱和区域的非饱和区域的距离数据进行插补。

图7是说明发生饱和时的插补处理的图。在此，示出受光部12、饱和检测部14、距离计算部13以及插补处理部15中的各像素位置处的输出数据。横轴表示数据处理的顺序，按排列顺序在水平方向(或垂直方向)上扫描受光部内的图像传感器的各像素。

(a)表示受光部12的输出数据即在各像素位置处检测出的蓄积电荷量。如图3中说明的那样，通过第一栅极内的电荷量Q₁和第二栅极内的电荷量Q₂这两个信道的信号进行输出，但是，在此仅示出一个信道的数据。电荷量以8比特进行标准化，数据值“255”意味着最大值即饱和状态。此外，作为饱和状态，也可以预先决定最大值以外的值并由此进行判断。

(b)是饱和检测部14的输出，在(a)的受光部的输出数据达到了饱和电平“255”的情况下，输出表示饱和状态的检测信号(在此为高电平)。

(c)是距离计算部13的输出数据，使用上述式(4)，根据来自(a)的受光部12的输出数据(Q1、Q2)来计算距离(L)并输出。此时，在饱和区域中并不进行计算而输出表示不能计算的“XX”。

(d)表示插补处理部15的处理。首先，使(c)的距离计算部13的输出数据延迟一个像素量。在(b)的饱和检测部14检测出饱和的情况下，将接近扫描方向的非饱和区域的像素的距离数据保存到存储器。而且，对于饱和区域的像素，置换为保存于存储器的数据并输出。在本例中，将饱和区域的距离数据“XX”置换为相邻的一个像素前的非饱和区域的数据“50”。关于非饱和区域的像素，直接输出距离计算部13的输出数据。

另外，进行了插补处理的期间，将插补识别信号附加到距离数据而输出。将插补识别信号设为高电平的数字信号。或者，相反地也可以是低电平的信号、特定的符号图案的信号。其中，这些信号由与距离数据的能够取得的值不同的值(最大输出值或最小输出值)构成。将插补处理后的距离数据和插补识别信号发送给图像处理部16。

图8是表示插补处理部15进行的数据插补处理的过程的流程图。对每个像素按排列顺序执行以下的流程。

在S100中，从行(line)的开头像素开始进行处理。在S101中，从距离计算部13输入该像素的距离数据。在S102中，判断该像素的受光电平是否饱和。因此，饱和检测部14判断该像素的电荷量Q₁、Q₂中的至少一方是否达到了饱和电平。在均未饱和的情况下，进入到S103，在至少一方饱和的情况下，进入到S105。

在S103中，将所输入的距离数据保存到存储器。在存储器中已经保存着其它数据时使用该数据进行重写。在S104中，直接输出输入数据。

在S105中，读出保存于存储器的距离数据，作为该像素的距离数据而输出。在此，S103的存储器的重写结果是，在S105中从存储器读出的数据成为饱和区域的一个像素前的非饱和区域的数据。在图7的示例中，置换为数据“50”进并输出。在S106中，输出表示进行了数据插补这一情况的插补识别信号。

当结束上述处理时，在S107中进入到下一像素的处理。如果行末尾的像素结束，则进行下一行的处理。

图9是说明插补处理的效果的图。与上述图5重叠显示。由于发生饱和而无法进行距离测量的区域21使用与该区域相邻的非饱和区域22的数据(〇标记)，如×标记所示进行插补(置换)并输出。此时用于进行插补(置换)的数据为最接近饱和区域的像素的数据，因此能够输出接近被摄体的实际距离的数据。另外，针对插补后的区域输出插补识别信号，因此在使用距离图像的图像分析中能够进行与其它区域不同的处理。

在上述说明中，为了更易于说明实施例的动作，设为在非饱和区域与饱和区域的边界部处台阶状地从非饱和状态向饱和状态变化，使用与饱和区域相邻的非饱和区域的一个像素前的数据来进行插补。然而，来自实际被摄体的反射光强度在很多情况下以一定宽度(过渡区域)从非饱和状态向饱和状态连续地变化。因此，如上所述根据饱和区域的一个像素前的数据进行插补这一情况使用局部混合了饱和状态的过渡区域内的数据，无法足够得到插补处理的效果。因此，在将该过渡区域的宽度方向上包含的像素数设为N个时，在用于插补的像素数据中优选使用从饱和区域分离N个像素的非饱和区域的像素数据。其中，该像素数N依赖于照相机受光部的像素结构和被摄体的种类，因此预先求出。而且，与饱和区域相邻的像素一起将隔着该过渡区域与饱和区域接触的像素称为“接近”饱和区域的像素。并且，在上述实施例中，根据非饱和区域的一个像素数据进行插补，但是作为其变形例，也可以使用接近饱和区域的非饱和区域的多个像素数据的平均值进行插补。

根据实施例1，起到以下效果：即使在被摄体的局部区域由于饱和而无法进行测量的情况下，通过基于接近饱和区域的像素数据的插补处理对距离数据进行补充，从而能够提供无缺陷的距离图像。

实施例2

在实施例2中，插补处理部15所进行的插补处理的方法与实施例1不同。即，在实施例2中，使用其前后接近的非饱和区域的多个距离数据对饱和区域的距离数据进行插补。由此，在饱和区域内距离数据较大地变化的情况下能够适当地进行插补。

图10是说明实施例2中的插补处理的图。与图7同样地，示出受光部12、饱和检测部14、距离计算部13以及插补处理部15的各像素位置处的输出数据。(a)～(c)与图7相同，在此说明不同的部分。

(d)的插补处理部15具备行存储器，保存像素列一行量(水平方向或垂直方向)的数据。在(b)的饱和检测部14检测出饱和的情况下，从行存储器读出与饱和区域的扫描方向的紧前和紧后相邻的两个非饱和距离数据，根据饱和区域内的像素位置来进行直线插补处理。在本例中，在饱和区域的紧前数据“50”与紧后的数据“55”之间以直线地变化的方式进行计算并插补。由此，即使是在饱和区域的两端位置处距离数据为不同的值，也能够以数据在两端处连续地连接的方式进行插补处理。

此外，如果使用帧存储器代替上述行存储器，则在水平方向和垂直方向这两个方向上能够进行连续地连接的插补处理。

图11A和图11B是表示插补处理部15的数据插补处理的过程的流程图。在本实施例中使用行存储器，交替地反复进行将一行量的数据写入到行存储器的动作(图11A)以及从行存储器读出的动作(图11B)。

图11A：行存储器(line memory)写入流程

在S200中，从行的开头像素开始进行处理。在S201中，从距离计算部13输入该像素的距离数据，写入到行存储器。在S202中，判断该像素的受光电平是否已经饱和。该判断与图8的S102相同，使用饱和检测部14的检测结果。

在已饱和的情况下，进入到S203，将饱和检测信号写入到行存储器的该像素位置。在并未饱和的情况下，并不写入饱和检测信号。在S204中，判断是否结束一行量的写入动作，在并未结束的情况下，在S205中进入到下一像素，反复进行从S201起的处理。如果结束一行量的写入动作，则在S206中进入到从行存储器读出数据的动作(图11B)。

图11B：行存储器读出流程

在S210中，从行的开头像素开始进行处理。在S211中，从行存储器读出该像素的距离数据。在S212中，根据行存储器的数据(饱和检测信号)判断该像素是否已经饱和。在并未饱和时进入到S213，直接输出读出的距离数据。

在已饱和时进入到S214，从行存储器读出与饱和区域相邻的非饱和区域的紧前与紧后的两个距离数据。通过参照写入到行存储器的饱和检测信号，可知此时要读出的数据的位置。在S215中，使用读出的两个距离数据，通过直线插补生成该像素位置处的距离数据并输出。另外，在S216中，输出表示进行了数据插补这一情况的插补识别信号。

在S217中，判断是否结束一行量的读出动作，在并未结束的情况下，在S218中进入到下一像素，反复进行从S211起的处理。如果结束一行量的读出动作，则在S219中进入到与下一行有关的数据写入动作(图11A)。

图12A和图12B是说明两点间的插补方法的图。图12A是在图10中说明的直线插补的情况，使用插补区间的两端的两个值(○标记)以直线地数据值发生变化的方式计算各像素的数据值。图12B示出在其它方法中使用二次函数、三次函数的近似式的曲线插补的情况。在该情况下，为了决定二次函数、三次函数的系数，不仅使用插补区间的两端的两个值(○标记)，还使用非饱和区域内的多个值(△标记)。根据曲线插补，能够生成非饱和区域与梯度在插补区间的两端处平滑地连接的数据。

在上述说明中，使用与饱和区域相邻的非饱和区域的紧前与紧后的两个数据进行插补，但是与实施例1同样地，在非饱和区域与饱和区域的边界处存在过渡区域的情况下，使用隔着过渡区域而前后接近的非饱和区域的像素的数据。

根据实施例2，与实施例1同样地，即使在被摄体的局部区域内发生饱和的情况下，也能够通过插补处理对距离数据进行补充。特别是，在无法进行测量的饱和区域内距离数据较大地变化的情况下，能够适当地进行插补。

在以上说明的各实施例中，作为被摄体以人为测量对象而进行了说明，但是在将人以外的被摄体设为测量对象的情况下也能够同样地进行应用，这是不言而喻的。

另外，在各实施例的说明中，提及了作为被摄体的表面状态而倾斜角并不均匀的情况，但是在反射率并不均匀而局部饱和的情况下也能够同样地应用。并且，即使在被摄体表面处存在段差而段差的一侧或两侧的平坦区域为饱和的情况下，段差部分也是倾斜区域且并不饱和而能够进行测量，因此能够使用段差部分的测量数据对饱和的平坦区域的距离数据进行插补。

本申请主张2018年7月4日提交的日本专利申请JP2018-127589号的优先权，其内容通过引用包含在本申请中。

Claims

1.一种距离测量装置，根据光的飞行时间来测量到被摄体为止的距离，其特征在于，具备：

发光部，其将从光源产生的光照射到被摄体；

受光部，其通过将像素排列成二维状的图像传感器来检测从被摄体反射的光；

距离计算部，其根据上述受光部的检测信号，在每个像素位置计算到被摄体为止的距离并输出距离数据；

饱和检测部，其检测上述受光部中的图像传感器的受光电平饱和的情况；

插补处理部，其在上述饱和检测部检测出饱和时，使用接近饱和区域的非饱和区域的距离数据，对从上述距离计算部输出的距离数据中的饱和区域的距离数据进行插补处理；以及

图像处理部，其根据从上述插补处理部输出的距离数据生成被摄体的距离图像，

在上述插补处理部的插补处理中，将饱和区域内的各像素的距离数据置换为在上述图像传感器的扫描方向上接近的非饱和区域的一个像素的距离数据。

2.一种距离测量装置，根据光的飞行时间来测量到被摄体为止的距离，其特征在于，具备：

发光部，其将从光源产生的光照射到被摄体；

在上述插补处理部的插补处理中，使用在上述图像传感器的扫描方向上前后接近的非饱和区域的多个像素的距离数据，通过计算求出饱和区域内的各像素的距离数据。

3.根据权利要求2所述的距离测量装置，其特征在于，

在上述插补处理部的插补处理中，使用前后接近的非饱和区域的多个距离数据，通过直线插补或曲线插补的计算求出饱和区域内的各像素的距离数据。

4.根据权利要求1或2所述的距离测量装置，其特征在于，

在蓄积于上述图像传感器的电荷量达到了最大值或预先决定的饱和值时，上述饱和检测部判断为饱和并输出饱和检测信号。

5.根据权利要求4所述的距离测量装置，其特征在于，

上述插补处理部对进行了插补处理的距离数据附加插补识别信号并输出。

6.根据权利要求5所述的距离测量装置，其特征在于，

上述插补识别信号由与上述距离数据能够取得的值不同的高电平或低电平的数字信号、或者特定的符号图案构成。