CN112180388A

CN112180388A - 三维距离测定装置

Info

Publication number: CN112180388A
Application number: CN202010341819.XA
Authority: CN
Inventors: 泉克彦
Original assignee: Hitachi LG Data Storage Inc
Current assignee: Hitachi LG Data Storage Inc
Priority date: 2019-07-05
Filing date: 2020-04-27
Publication date: 2021-01-05
Also published as: US20210003705A1; JP7257275B2; JP2021012091A; US11604278B2

Abstract

本发明提供一种三维距离测定装置，其具备：发光部(10)，其向被摄体照射光；受光部(13)，其检测来自被摄体的反射光；距离计算部(14)，其基于检测出的反射光的传递时间，计算到达被摄体的三维距离；图像处理部(15)，其基于计算出的距离数据，生成被摄体的二维的距离图像；距离模式选择处理部(16)，其从能够测定的距离范围不同的多个距离模式，选择预定的距离模式，设定发光部的驱动条件。在第一帧中选择第一距离模式，在第二帧中选择第二距离模式，将在各个帧获取到的距离数据组合，生成输出的帧的三维距离数据。

Description

三维距离测定装置

技术领域

本发明涉及一种将人物等被摄体的位置输出为距离图像的三维距离测定装置。

背景技术

已知一种其基于光的传递时间对到达物体的距离进行测定(以下为TOF法:飞行时间)，并输出为显示距离的图像(距离图像)的技术。为了准确测定到达物体的距离，需要高精度地测定三维空间内的各物体的坐标。在TOF方式中，测距精度(测距分辨率)和距离范围依赖于照射的光的频率(发光期间的长度)，照射的光的频率越高，越能进行高精度的测距，但可测距的距离范围变窄。

例如在国际公开第2017/022152号记载的测距拍摄装置中，以兼顾高测距精度和长测距范围为目的，提出了将基于曝光期间连续(Continuous Wave，连续波)方式的第一测距和基于脉冲方式的第二测距组合的方式。

发明内容

在基于TOF方式的距离测定中，由于照射到各物体且随后在各物体反射从而返回到测距装置的光是微弱的，因而有时测定精度受到向物体照射的光的照射环境的影响。另外，若扩大测定距离，则返回到测距装置的光越是微弱，存在测距精度降低的问题。之前叙述的国际公开第2017/022152号的技术是兼顾高测距精度和长测距范围的技术。然而，并未考虑在同一区域设置多台测距拍摄装置时产生的装置间的干涉的问题。

装置间干涉是指自身装置以外的照射光(或者反射光)成为干涉光，在自身装置曝光，从而在测距值上产生误差的现象。作为其对策，已知一种按照装置来改变发光脉冲的调制频率，降低因干涉而产生的测距误差的方法。然而，在将该方法应用于国际公开第2017/022152号的结构时，必须将连续方式和脉冲方式共通来改变脉冲宽度，从而难以进行实用。

本发明的目的在于提供一种三维距离测定装置，其在设置多台时不会影响干涉对策，即使在广测定距离范围中也能进行高精度的距离测定。

本发明在将被摄体的位置输出为距离图像的三维距离测定装置中，具备：发光部，其向所述被摄体照射光；受光部，其检测来自所述被摄体的反射光；距离计算部，其基于由所述受光部检测出的反射光的传递时间，计算到达所述被摄体的三维距离；图像处理部，其基于在所述距离计算部计算出的距离数据生成所述被摄体的二维的距离图像；距离模式选择处理部，其从能够测定的距离范围不同的多个距离模式中选择预定的距离模式，设定所述发光部的驱动条件。构成为通过所述距离模式选择处理部，在第一帧中获取来自第一距离模式的三维距离数据，在第二帧中获取来自第二距离模式的三维距离数据，通过所述图像处理部，将由第一帧以及第二帧获取到的三维距离数据组合，生成输出的帧的三维距离数据。

根据本发明，能够提供一种在广泛测定距离范围中进行高精度的距离测定的三维距离测定装置。此时，由于能够应用以往的装置间干涉对策，因此不会产生设置多台装置时的问题。

附图说明

图1是实施例1中的三维距离测定装置的结构图。

图2A是说明基于TOF法的距离测定的原理的图。

图2B是说明基于TOF法的距离测定的原理的图。

图3A是说明实施例1中的距离模式(近距离)的图。

图3B是说明实施例1中的距离模式(远距离)的图。

图4A是说明距离模式和帧合成的图。

图4B是示意性表示被摄体的外观的图。

图5是表示帧合成的处理的流程的流程图。

图6是说明实施例2中的距离测定方式的图。

图7A是说明距离模式和帧合成的图。

图7B是示意性表示被摄体的检测状态的图。

图8是表示帧合成的处理的流程的流程图。

具体实施方式

以下，使用附图，说明本发明的三维距离测定装置的实施例。

【实施例1】

图1是实施例1中的三维距离测定装置的结构图。在以下的例子中，说明了检测将人物作为物体的位置的情况。在三维距离测定装置中，通过TOF(Timeof Flight，飞行时间)方式来测定到达包括人物在内的被摄体的距离，例如通过颜色显示测定出的达到被摄体的各部的距离，并输出为距离图像。

三维距离测定装置是通过CPU17控制距离图像生成部1(以下，还称为TOF照相机、或者简单称为TOF)的结构，该距离图像生成部1生成基于TOF方式的距离图像。这里，基于TOF的距离测定的原理将在后面进行叙述。

TOF照相机1具备：发光部10，其具备向被摄体2照射脉冲光的激光二极管(LD)或发光二极管(LED)等；受光部13，其具有接受从被摄体反射的脉冲光的CCD传感器或CMOS传感器等；距离计算部14，其根据受光部13的检测信号计算到达被摄体的距离；图像处理部15，其基于从距离计算部14输出的距离数据，输出为被摄体2的距离图像；距离模式选择处理部16，其设定发光脉冲的驱动条件，以使对能够测定的距离范围不同的距离模式进行选择。该TOF照相机1被CPU17控制，能够进行三维距离测定。接着，详细说明各部的结构以及功能。

在图1记载的TOF照相机1中，发光部10包括由激光光源构成的光源部11、以及进行激光光源的发光或熄灭或者发光量的调整的发光控制部12。在光源部11中配置有激光光源11a，从各激光光源照射的激光能够照射由3a示出的照射区域。

发光控制部12由驱动激光光源的激光驱动电路12a构成，激光驱动电路12a与激光光源11a对应。构成为根据来自外部的CPU17的指令，在通过距离模式选择处理部16根据选择出的距离模式设定发光脉冲的驱动条件之后，控制光源部11的激光光源11a的发光或熄灭。

搭载于受光部13的CCD传感器13a检测从被摄体2反射的光，并向距离计算部14传递被光电转换的信号。在距离计算部14中，对到达被摄体2的距离进行计算，将到达被摄体2的距离数据传递到图像处理部15。

图像处理部15将从距离计算部14传递来的距离数据存储于内部存储器，进行帧之间的距离数据的合成。并且，进行基于距离数据改变人物或物体图像的色调的彩色化处理，向外部装置输出或者显示于显示器等。图像处理还可以是改变明度、对比度等的处理。用户看到被彩色化的图像，由此能够容易知晓人物等物体的位置(距离)和形状(姿势)。

接着，说明各部的动作。

图2A和图2B是说明基于TOF法的距离测定的原理的图。在TOF法中，通过射出光信号与受光信号的时间差来计算距离。

图2A是表示TOF照相机(距离图像生成部)1与被摄体2(例如人物)的关系的图。TOF照相机1具有发光部10和受光部13，从发光部10向被摄体2射出距离测定用发光脉冲31。在射出光中使用红外光。受光部13接受向被摄体2射出的光的反射光32，但是经由物镜33通过CCD等二维传感器34进行受光。被摄体2存在于与发光部10以及受光部13距离L[m]的位置。在此，若将光速设为c[m/s]，将从发光部10开始光射出起到受光部13接受反射光为止的时间差设为t[s]，则到达被摄体2的距离L[m]通过以下数学式(1)求出：

L[m]＝c[m/s]×t[s]/2...(1)。

图2B是表示时间差t的测定的图。距离计算部14根基从发光部10射出的光31的定时和通过受光部13接受反射光32的定时，测定该时间差t，根据数学式(1)计算与被摄体2的距离L。另外，根据二维传感器34中的在各像素位置的受光定时的偏离，能够求出被摄体各位置的距离的差、即被摄体的凹凸形状。

图3A和图3B是说明实施例1中的TOF照相机的距离模式的图。图3A是用于测定近距离的距离模式，图3B是用于测定远距离的距离模式。在图3A和图3B中，各个发光脉冲31的驱动间隔时间pa、pb并不相同(pa<pb)。若发光脉冲31的驱动间隔时间p变短，则时间差t的最大值也变短，因此可测定距离(界限距离)D也变短。因此，就TOF的距离测定中的分辨率而言，若分配的比特数相同，则可测定距离D越短则距离分辨率能够越精细(即提高距离精度)。另外，此时可测定距离的近距离侧(最小距离)是相同的与距离模式无关，可测定距离的远距离侧(界限距离)根据距离模式的设定而不同。在本实施例中，为了将包括到达被摄体2的距离的可测定距离(界限距离)D设定成最适合的距离，通过CPU17设定距离模式。

图4A和图4B是说明距离模式和帧合成的图。图4A说明合成距离模式不同的帧并作为输出帧的结构，图4B是将此时的被摄体外观示意性表示为距离图像60的图。在图4A中，示出了近距离侧的人物2a和远距离侧的人物2b作为被摄体的情况。在帧1中，将距离模式设定在近距离侧(图3A的模式)，可测定距离是L1。在另一个帧2中，将距离模式设定在远距离侧(图3B的模式)，可测定距离为L2。两者的可测定距离成立L1<L2的关系。

在本实施例，按照每个帧切换两个不同的距离模式，按照每个像素或者每个帧选择最适合的距离模式进行帧合成。即，通过进行后述的帧合成，如图4B所示，近距离侧的被摄体2a通过高精度的近距离模式进行距离测定，远距离侧的被摄体2b通过低精度但可测定距离大的远距离模式进行距离测定。其结果是，与以往的方式相比较，可测定距离Lout能够确保与L2相同地到达远距离，同时将测定精度的降低抑制到最小限。

此外，在本实施例的测定方式中，当在同一区域设置多台三维距离测定装置进行工作的情况下，为了避免装置间的干涉，能够应用应用按照每个装置改变发光脉冲的调制频率的方法。由此，不会产生在课题中叙述的如专利文献1那样的问题。

图5是表示帧合成的处理的流程的流程图。以下示出的帧合成的处理是通过三维距离测定装置的CPU17控制图1的各部的动作来执行的。以下，按照步骤顺序进行说明。

S101:通过CPU17指令TOF驱动，启动TOF。

S102:距离模式选择处理部16将帧1的距离模式设定成近距离模式。

S103:通过发光控制部12，以近距离模式进行光源部11的点亮。

S104:通过受光部13接受来自被摄体的反射光，通过距离计算部14获取距离数据。

S105:将帧1的距离数据存储于内部存储器，结束帧1中的处理。

S106:距离模式选择处理部16将帧2的距离模式设定为远距离模式。

S107:通过发光控制部12，以远距离模式进行光源部11的点亮。

S108:通过受光部13接受来自被摄体的反射光，通过距离计算部14，获取距离数据。

S109:将帧2的距离数据存储于内部存储器，结束帧2中的处理。

在该时点，帧1获取近距离的测定范围内的三维距离数据，帧2获取远距离的测定范围内的三维距离数据。

S110:图像处理部15针对各像素，决定采用哪一个帧的距离数据。决定方法如以下所述。对于能够通过帧1进行距离测定的像素，采用帧1的距离数据。另一方面，对于无法通过帧1进行距离测定的像素，由于是近距离的测定范围外，因而采用帧2的远距离的距离数据。

S111:根据S110的决定，在是否采用帧1的距离数据上产生分支。在采用帧1的距离数据的情况下，进入S112。在未采用帧1的距离数据的情况下，进入S113。

S112:图像处理部15从内部存储器读出帧1的距离数据。

S113:图像处理部15从内部存储器读出帧2的距离数据。

S114:图像处理部15将读出的距离数据存储于输出帧中。针对全部的像素结束处理后，从TOF照相机将输出帧用的距离数据输出。

之后，返回到S102，重复上述的处理。

若根据上述的实施例1，将通过帧1获取到的近距离的三维距离数据和通过帧2获取到的远距离的三维距离数据进行合成，生成输出帧，从TOF照相机输出合成后的输出帧用三维距离数据。其结果是，在确保测定距离范围到达远距离的同时，能够在近距离侧维持高精度，并且将测定精度的降低抑制到最小限。

【实施例2】

接着，说明实施例2中的三维距离测定装置。装置的基本的结构与图1示出的实施例1相同，因此在此省略说明。在实施例2的TOF方式中，采用与实施例1不同的距离测定方式。

图6是说明实施例2中的TOF照相机的距离测定方式的图。从发光部10射出的发光脉冲31a在被摄体反射后到达受光部13，成为受光脉冲32a。此时，以发光脉冲31a的射出的定时为基准，在多个不同的延迟时间位置设定选通脉冲(gate)18。并且，判定受光脉冲32a是在设定的哪个选通脉冲18的开放期间被检测出的。判定的结果为，被摄体存在于与被检测出的选通脉冲的时间位置对应的测定距离的位置。即，实施例2中的选通脉冲的位置与实施例1中的距离模式对应。

在图6的例子中，示出用于帧1的选通脉冲18A、18B(第一、第二距离模式)和用于帧2的选通脉冲18C、18D(第三、第四距离模式)。将各选通脉冲的开放期间设为D，以发光脉冲31a为基准，将各选通脉冲的开始位置设为Da～Dd。处于相同的帧的选通脉冲18A和18B邻接，选通脉冲18C和18D邻接。将这些关系换言之，在第一、第三距离模式中成为可测定的距离范围(选通脉冲18A、18C)的远距离侧的界限距离与在第二、第四距离模式中成为可测定的距离范围(选通脉冲18B、18D)的近距离侧的界限距离大致一致。

另外，选通脉冲18A和18C仅偏离开放期间的半周期，选通脉冲18B和18D仅偏离开放期间的半周期。换言之，第三距离模式相对于第一距离模式偏离半周期相位，第四距离模式相对于第二距离模式偏离半周期相位。此外，该相位偏离量可以不是半周期，若选通脉冲18C(第三距离模式)是包括选通脉冲18A(第一距离模式)的一部分且包括选通脉冲18B(第二距离模式)的一部分的结果，则能够得到本实施例的效果。在各帧中，在选通脉冲18B之后以及选通脉冲18D之后，还同样地重复有未图示的邻接的选通脉冲。

在图6的例子中，反射光32a在选通脉冲18A和18C被检测(通过〇标记进行表示)。在通过选通脉冲18A、18C无法检测到反射光32a的情况下，确认通过邻接的选通脉冲18B、18D能否检测到反射光32a，在还未检测到的情况下，通过未图示的邻接的选通脉冲重复相同的动作。将通过该一系列动作得到的距离数据设为帧1和帧2中的距离数据。此外，此时得到的距离数据若在同一选通脉冲内，则与在选通脉冲内的哪个定时被检测出无关，例如视为选通脉冲期间D的中央位置的距离数据。此种测定方式由于能够通过选通脉冲期间D内的反射光的有无来测定距离，因此通过将微弱的反射光与高感度的光检测器组合，由此具有有利于远距离测定的优点。

在图6中，使用一组选通脉冲18A和18B将到达被摄体的距离检测为帧1的方法与先前叙述的TOF方式的说明是相同的。对此，在实施例2中，其特征在于，组合了设定与选通脉冲的开放定时错开半周期量的另一组选通脉冲18C和18D，使用该选通脉冲18C和18D将到达被摄体的距离检测为帧2的方法。通过设为这种结构，交替地反复帧1和帧2，通过帧1和帧2分别确认能够检测反射光的选通脉冲信息，由此能够如之后所述，改善测距精度。

图7A和图7B是说明距离模式和帧合成的图。图7A是说明将选通脉冲的定时偏离半周期的帧1以及帧2合成并作为输出帧的结构。图7B是示意性表示此时的被摄体2的检测状态的图。帧1是与图6的选通脉冲18A、18B对应，从距离近的一方开始记述为距离模式1、2、...。帧2与图6的选通脉冲18C、18D对应，从距离近的一方开始记述为距离模式A、B、...。另外，输出帧通过帧1与帧2的距离模式的重叠区域进行区分，记述为距离1A、2A、2B、...。

在图7A中，在帧1中，被摄体2在距离模式2的定时被检测为距离L1。在另一个帧2中，被摄体2在距离模式B的定时被检测为距离L2。在实施例2中，将帧1的检测范围与帧2的检测范围成为共通的范围视为被摄体的存在范围。由此，在输出帧中，检测为与距离模式2和距离模式B的共通的期间(在距离2B示出)对应的距离Lout。

图7B示意性表示各帧中的被摄体2的检测状态。如上所述，被摄体2在帧1中通过距离模式2检测，在帧2中通过距离模式B检测。如此，在单一的帧中，在任意的距离模式中检测到被摄体，但该位置精度原理上通过与邻接的距离模式的间隔(测定距离单位S)来决定。根据本实施例，能够通过设为将两个帧合成的输出帧，将有效的距离模式的距离宽度(测定距离单位)设为一半(S/2)。由此，本实施例的距离测定的精度相对于仅利用帧1或者仅利用帧2的距离测定的精度，能够将分辨率(测距精度)提高到2倍。

此外，在本实施例中，示出了将两个帧合成的例子，但是能够将帧的数量增加到n个(n为3以上)，分别将选通脉冲的定时错开。此时，自不必说也能够进一步将有效的距离宽度(测定距离单位)缩小到S/n来提高测距精度。

图8是表示帧合成的处理的流程的流程图。以下示出的帧合成的处理通过三维距离测定装置的CPU17控制图1的各部的动作来执行。以下，按照步骤顺序进行说明。

S201:通过CPU17指令TOF驱动，启动TOF。

S202:距离模式选择处理部16设定帧1的选通脉冲。例如设定成最近距离的选通脉冲18A(模式1)。

S203:通过发光控制部12，进行光源部11的点亮。

S204:通过受光部13接受来自被摄体的反射光，确认反射光与选通脉冲的一致。

S205:判定反射光的定时是否与设定选通脉冲一致，在一致的情况下进入S207，在不一致的情况下进入S206。

S206:使设定选通脉冲在邻接位置错开。例如，从选通脉冲18A(模式1)错开到选通脉冲18B(模式2)，从S203开始执行。

S207:距离计算部14将通过设定选通脉冲决定的距离数据存储于内部存储器，结束帧1的处理。

接着，开始帧2的处理。

S302:距离模式选择处理部16设定帧2的选通脉冲。例如设定成最近距离的选通脉冲18C(模式A)。

S303:通过发光控制部12，进行光源部11的点亮。

S304:通过受光部13接受来自被摄体的反射光，确认反射光与选通脉冲的一致。

S305:判定反射光的定时是否与选通脉冲一致，在一致的情况下进入S307，在不一致的情况下进入S306。

S306:使设定选通脉冲在邻接位置错开。例如，从选通脉冲18C(模式A)错开到选通脉冲18D(模式B)，从S303开始执行。

S307:距离计算部14将由设定选通脉冲决定的距离数据存储于内部存储器，结束帧2的处理。

接着，进行帧1与帧2的合成处理。

S308:图像处理部15从内部存储器读出帧1与帧2的距离数据。

S309:图像处理部15将帧1与帧2的距离数据的平均值作为输出帧的距离数据，从TOF照相机输出。

之后，返回到S202，重复上述的处理。

若根据上述的实施例2，生成将通过帧1获取到的三维距离数据和通过帧2获取到的三维距离数据合成的输出帧，从TOF照相机输出合成后的输出帧用三维距离数据。其结果是，与通过单一的帧进行检测的情况相比，能够提高分辨率，即使测定距离范围是远距离的情况下，也能够进行抑制了测定精度的降低的距离测定。

Claims

1.一种三维距离测定装置，其将被摄体的位置输出为距离图像，其特征在于，

所述三维距离测定装置具备：

发光部，其向所述被摄体照射光；

受光部，其检测来自所述被摄体的反射光；

距离计算部，其基于在所述受光部检测出的反射光的传递时间，计算到达所述被摄体的三维距离；

图像处理部，其基于通过所述距离计算部计算出的距离数据，生成所述被摄体的二维的距离图像；以及

距离模式选择处理部，其从能够测定的距离范围不同的多个距离模式中，选择预定的距离模式，设定所述发光部的驱动条件，

通过所述距离模式选择处理部，在第一帧中获取来自第一距离模式的三维距离数据，在第二帧中获取来自第二距离模式的三维距离数据，

通过所述图像处理部，将在第一帧以及第二帧获取到的三维距离数据组合，生成所输出的帧的三维距离数据。

2.根据权利要求1所述的三维距离测定装置，其特征在于，

第一距离模式中的成为能够测定的距离范围的远距离侧的界限距离小于第二距离模式中的成为能够测定的距离范围的远距离侧的界限距离，

第一距离模式中的成为能够测定的距离范围的全部或者一部分与第二距离模式中的成为能够测定的距离范围的一部分是相同的距离。

3.根据权利要求2所述的三维距离测定装置，其特征在于，

所输出的帧的三维距离数据在第一距离模式中的成为能够测定的距离范围中选择第一帧的三维距离数据，在仅在第二距离模式中成为能够测定的距离范围中选择第二帧的三维距离数据。

4.一种三维距离测定装置，其将被摄体的位置输出为距离图像，其特征在于，

所述三维距离测定装置具备：

发光部，其向所述被摄体照射光；

受光部，其检测来自所述被摄体的反射光；

距离计算部，其基于在所述受光部检测出的反射光的传递时间，计算到达所述被摄体的三维距离，

通过所述距离模式选择处理部，在第一帧中至少获取来自第一距离模式以及第二距离模式的三维距离数据，在第二帧中至少获取来自第三距离模式以及第四距离模式的三维距离数据，

5.根据权利要求4所述的三维距离测定装置，其特征在于，

第一距离模式中的成为能够测定的距离范围的远距离侧的界限距离与第二距离模式中的成为能够测定的距离范围的近距离侧的界限距离大致一致，

第三距离模式中的成为能够测定的距离范围的远距离侧的界限距离与第四距离模式中的成为能够测定的距离范围的近距离侧的界限距离大致一致，

第三距离模式包括第一距离模式中的成为能够测定的距离范围的一部分并且包含第二距离模式中的成为能够测定的距离范围的一部分。

6.根据权利要求5所述的三维距离测定装置，其特征在于，

第二帧的第三距离模式相对于第一帧的第一距离模式偏离半周期相位。

7.根据权利要求6所述的三维距离测定装置，其特征在于，

通过将第一帧的三维距离数据和第二帧的三维距离数据平均化，生成输出帧的三维距离数据。