CN114509775A - 物体检测装置 - Google Patents

Abstract

本公开涉及物体检测装置。物体检测装置(100)具备：激光照射部(11)；受光元件(12)，其能够检测激光的反射光和作为激光以外的光的环境光的反射光；摄像头(2)；信息修正部(31)，其基于摄像头图像，对环境光信息进行修正来生成修正环境光信息，该环境光信息是由受光元件(12)检测到的环境光的反射光的信息；以及物体检测部(32)，其基于修正环境光信息和由受光元件(12)接收到的激光信息来检测物标。

Description

物体检测装置

技术领域

本公开涉及物体检测装置。

背景技术

例如，为了对周围的物标进行检测，在自动驾驶车辆搭载有基于所照射的激光的反射光来检测物标的激光雷达(LIDAR)。另外，例如，如非专利文献1所记载的那样，开发了一种激光雷达，该激光雷达在所照射的激光的反射光之外，也使用所照射的激光以外的环境光的反射光的检测结果来检测物标。

在该激光雷达中，用相同的受光元件接收激光的反射光和环境光的反射光，因此，两者的检测结果相互之间获得了位置上的对应关系。因此，通过使用这样的激光雷达，能够基于获得了位置上的对应关系的两种光的检测结果来进行物标的检测。

现有技术文献

非专利文献1：伊藤誠悟平塚誠良太田充彦松原弘幸小川勝「小型イメージングLIDARとDCNNによる位置姿勢推定」情報処理学会第79回全国大会講演論文集2017年

发明内容

发明要解决的课题

一般而言，摄像头的受光部的受光元件的数量压倒性地多于激光雷达中的受光部的受光元件的数量。因此，由激光雷达取得的环境光信息的信息量比由摄像头拍摄到的摄像头图像的信息量少，对于精度良好地检测物标来说，信息量少。因此，在激光的反射光之外也使用环境光的反射光的检测结果的情况下，对于精度更好地检测物标来说，具有改善的余地。

于是，本公开对能够基于激光的反射光和环境光的反射光的检测结果来精度良好地检测物标的物体检测装置进行说明。

用于解决课题的技术方案

在本公开的一个侧面中，物体检测装置具备：激光照射部，其照射激光；受光部，其能够检测激光的反射光和作为激光以外的光的环境光的反射光；摄像头；信息修正部，其基于由摄像头拍摄到的摄像头图像，对环境光信息进行修正来生成修正环境光信息，该环境光信息是由受光部检测到的环境光的反射光的信息；以及物体检测部，其基于修正环境光信息和激光信息来检测物标，该激光信息是由受光部接收到的激光的反射光的信息。

该物体检测装置基于摄像头图像来修正环境光信息，生成修正环境光信息。并且，物体检测装置基于所生成的修正环境光信息和激光信息来检测物标。这样，物体检测装置通过使用基于摄像头图像对环境光信息进行了修正后的修正环境光信息，能够基于激光的反射光和环境光的反射光的检测结果(激光信息和修正环境光信息)来精度良好地检测物标。

在物体检测装置中，信息修正部也可以通过对环境光信息添加摄像头图像的颜色信息来生成修正环境光信息。在该情况下，信息修正部能够增加环境光信息的颜色的通道数量。由此，物体检测装置能够使用附加了摄像头图像的颜色信息的修正环境光信息和激光信息来精度更好地检测物标。

在物体检测装置中，信息修正部也可以通过在环境光信息的像素间添加摄像头图像的信息来生成修正环境光信息。在该情况下，信息修正部能够提高环境光信息的分辨率。由此，物体检测装置能够使用提高了分辨率的修正环境光信息和激光信息来精度更好地检测物标。

在物体检测装置中，信息修正部也可以基于由摄像头图像得到的分割信息(segmentation information)，对环境光信息进行修正来生成修正环境光信息。在该情况下，物体检测装置通过使用基于分割信息生成的修正环境光信息和激光信息，能够精度更好地检测物标。

在物体检测装置中，信息修正部也可以通过基于摄像头图像与环境光信息的视差来算出到所得到的环境光的反射点为止的距离，对环境光信息添加所算出的距离的信息，由此生成修正环境光信息。在该情况下，物体检测装置能够使用添加了到环境光的反射点为止的距离的信息的修正环境光信息和激光信息来精度更好地检测物标。

发明效果

根据本公开的一个侧面，能够基于激光的反射光和环境光的反射光的检测结果来精度良好地检测物标。

附图说明

图1是表示一个实施方式涉及的物体检测装置的一个例子的框图。

图2是表示在物体检测ECU中进行的物标的检测处理的流程的流程图。

标号说明

2摄像头、11激光照射部、12受光元件(受光部)、14光分离部(受光部)、15激光处理部(受光部)、16环境光处理部(受光部)、31信息修正部、32物体检测部、100物体检测装置。

具体实施方式

以下，参照附图对例示性的实施方式进行说明。此外，在各图中，对同一或者相当的要素赋予彼此相同的标号，省略重复的说明。

如图1所示，物体检测装置100搭载于车辆(自身车辆)，对自身车辆周围的物标进行检测。由物体检测装置100检测到的物标，例如可以被使用于自身车辆的自动驾驶等的各种控制。物体检测装置100具备激光雷达[LIDAR：Light Detection and Ranging(光探测和测距)]1、摄像头2以及物体检测ECU[Electronic Control Unit(电子控制单元)]3。

激光雷达1向自身车辆的周围照射激光，接收所照射的激光由物标反射后的反射光(激光的反射光)。另外，激光雷达1对激光的反射光的强度进行检测。本实施方式中的激光雷达1能够在所照射的激光的反射光之外，也接收作为所照射的激光以外的光的环境光由物标反射后的反射光(环境光的反射光)。另外，激光雷达1能够对所接收到的环境光的反射光的强度进行检测。该环境光例如是指太阳光和照明等自身车辆周围的光。

更详细而言，激光雷达1具备激光照射部11、受光元件12以及光处理ECU13。激光照射部11向搭载有物体检测装置100的自身车辆周围的预先确定的照射区域内的各位置分别照射激光。

受光元件12能够接收从激光照射部11照射了的激光的反射光，输出与所接收到的激光的反射光的强度相应的信号。另外，受光元件12能够接收从激光照射部11照射了的激光以外的环境光的反射光，输出与所接收到的环境光的反射光的强度相应的信号。

光处理ECU13是具有CPU、ROM、RAM等的电子控制单元。光处理ECU13例如通过将记录于ROM的程序加载到RAM，由CPU执行被加载到了RAM的程序，从而实现各种功能。光处理ECU13也可以由多个电子单元构成。

光处理ECU13基于受光元件12的输出信号，分别对由受光元件12接收到的激光的反射光的强度和环境光的反射光的强度进行检测。光处理ECU13在功能上具备光分离部14、激光处理部15以及环境光处理部16。这样，受光元件12、光分离部14、激光处理部15以及环境光处理部16作为能够检测激光的反射光和环境光的反射光的受光部发挥功能。

光分离部14将由受光元件12接收到的光分离为激光的反射光和环境光的反射光。光分离部14例如能够将特定的亮暗图案的光判别为激光的反射光，将那以外的光判别为环境光的反射光。另外，例如光分离部14能够将从激光照射部11照射激光起的预定时间以内接收到的光判别为激光的反射光，将在那以外的定时接收到的光判别为环境光的反射光。该预定时间基于在激光照射部11照射激光之后、所照射了的激光由自身车辆周围的物标反射，激光的反射光到达受光元件12为止的时间来预先设定。此外，如上所述，环境光的反射光不包含从激光雷达1所照射的激光的反射光。然而，在环境光包含与激光相同波长的光的情况下，环境光的反射光会包含与激光相同的波长的光的反射光。

激光处理部15基于由受光元件12接收到的激光的反射光的受光结果来生成激光信息。激光信息是基于向预先确定的照射区域内的各位置照射了的多个激光的受光结果(多个反射光的受光结果)来生成的。此外，激光雷达1在对照射区域内的各位置的全部位置完成了激光的照射之后，再次向照射区域内的各位置分别照射激光。这样，激光雷达1在完成了对照射区域内的各位置的全部位置照射激光的照射处理之后，再次进行接下来的照射处理。每当激光雷达1进行照射处理时，生成激光信息。

更详细而言，激光处理部15关于向照射区域内照射的多个激光分别将所照射的激光的反射点的三维位置和该激光的强度相关联来生成激光点信息。激光处理部15基于所生成的多个激光点信息来生成激光信息。此外，激光处理部15能够基于从激光照射部11照射了的激光的照射角度、和从照射激光起到该激光的反射光到达受光元件12为止的到达时间，对激光的反射点的三维位置进行计测。

环境光处理部16基于由受光元件12接收到的环境光的反射光的受光结果，生成作为环境光的反射光的信息的环境光信息。对于环境光信息，与激光信息同样地，每当进行激光雷达1向照射区域内照射多个激光的照射处理时生成该环境光信息。

更详细而言，环境光处理部16首先从激光处理部15取得激光的反射点的三维位置。在此，在不使激光的照射角度等、激光雷达1的各部的状态变化的状态下，由受光元件12接收的激光的反射点的位置和环境光的反射点的位置彼此相同。因此，激光雷达1通过在接收到激光的反射光时的状态下对环境光的反射光的强度进行检测，能够对在与激光的反射点相同的位置进行了反射的环境光的反射光的强度进行检测。因此，环境光处理部16通过将从激光处理部15取得的激光的反射点的三维位置和由受光元件12接收到的环境光的反射光的强度相关联，从而生成环境光点信息。该环境光点信息按向照射区域内照射的多个激光的各激光来生成。

环境光处理部16基于所生成的多个环境光点信息来生成环境光信息。即，环境光处理部16生成环境光信息，该环境光信息是按各反射点的位置关联了所接收到的激光(环境光)的反射光的反射点的位置和所接收到的环境光的反射光的强度的信息。

这样，激光雷达1能够基于受光元件12的受光结果来生成激光信息和环境光信息。即，激光雷达1能够基于一个受光元件12的受光结果来生成激光信息和环境光信息，因此，不再需要激光信息和环境光信息的校准(calibration)。

摄像头2对自身车辆周围的预先确定的拍摄区域内进行拍摄，生成作为拍摄结果的摄像头图像。此外，摄像头2的拍摄范围的至少一部分与激光雷达1的激光的照射范围重叠。摄像头2具备拍摄元件21和图像处理ECU22。拍摄元件21能够接收在拍摄区域内反射后的环境光的反射光，输出与所接收到的环境光的反射光相应的信号。

图像处理ECU22是具有与光处理ECU13同样的结构的电子控制单元。图像处理ECU22在功能上具备图像处理部23。图像处理部23基于拍摄元件21的输出信号来通过周知的方法生成摄像头图像。

物体检测ECU3基于激光雷达1的检测结果，对自身车辆周围的物标进行检测。物体检测ECU3是具有与光处理ECU13同样的结构的电子控制单元。物体检测ECU3也可以与光处理ECU13或者图像处理ECU22构成为一体。物体检测ECU3在功能上具备信息修正部31和物体检测部32。

信息修正部31基于由摄像头2生成的摄像头图像，对由激光雷达1的环境光处理部16生成的环境光信息进行修正来生成修正环境光信息。信息修正部31能够基于摄像头图像来通过各种方法生成修正环境光信息。在本实施方式中，信息修正部31能够基于如下的第1方法～第4方法中的任一方法、或者组合如下的第1方法～第4方法中的两个以上的方法来生成修正环境光信息。此外，信息修正部31能够通过事先进行校准或者在生成修正环境光信息时对特征点进行匹配等来得到摄像头图像与环境光信息的对应关系(位置上的对应关系)。

(第1方法)

首先，对第1方法进行说明。在第1方法中，信息修正部31通过对环境光信息添加摄像头图像的颜色信息(例如RGB信息)，生成修正环境光信息。由此，例如对灰度(grayscale)的环境光信息追加颜色信息，环境光信息的颜色的通道数量增加。

(第2方法)

接着，对第2方法进行说明。在第2方法中，信息修正部31通过在环境光信息的像素间添加摄像头图像的信息，生成修正环境光信息。在此，信息修正部31能够使用摄像头图像的颜色信息或者辉度信息等来作为在环境光信息的像素间添加的摄像头图像的信息。这样，信息修正部31通过在环境光信息的像素间添加摄像头图像的信息，能够生成提高了环境光信息的分辨率的修正环境光信息。

(第3方法)

接着，对第3方法进行说明。在第3方法中，信息修正部31基于由摄像头图像得到的分割信息，对环境光信息进行修正来生成修正环境光信息。在此，信息修正部31例如能够使用语义分割(semantic segmentation)或者实例分割(instance segmentation)等周知的各种方法，从摄像头图像得到分割信息。信息修正部31例如通过对环境光信息添加分割信息，能够生成使环境光信息具有了区域的类别信息(category information)的修正环境光信息。或者，信息修正部31例如能够通过基于分割信息的区域的类别信息来对环境光信息的像素值进行修正(例如使区域的边界清晰等)，从而生成修正环境光信息。

(第4方法)

接着，对第4方法进行说明。在第4方法中，信息修正部31基于摄像头图像与环境光信息的视差，算出到所得到的环境光的反射点为止的距离。在此，信息修正部31例如能够与立体摄像头等同样地，基于三角测量的原理来算出到环境光的反射点为止的距离。并且，信息修正部31通过对环境光信息添加所算出的距离的信息来生成修正环境光信息。由此，信息修正部31能够生成包含到环境光的反射点为止的距离的信息的修正环境光信息。

物体检测部32基于由信息修正部31生成的修正环境光信息和由激光处理部15生成的激光信息来检测物标。在此，物体检测部32能够对修正环境光信息和激光信息这两个信息进行融合，通过周知的各种方法进行物标的检测处理和识别处理。

接着，使用图2的流程图对在物体检测装置100的物体检测ECU3中进行的物标的检测处理的流程的一个例子进行说明。此外，图2所示的检测处理在物标的检测处理开始后，按各预定时间而被反复执行。另外，S101～S104的处理的顺序不限定于图2所示的顺序。

如图2所示，物体检测部32取得由激光雷达1的激光处理部15生成的激光信息(S101)。信息修正部31取得由激光雷达1的环境光处理部16生成的环境光信息(S102)。另外，信息修正部31取得由摄像头2生成的摄像头图像(S103)。

信息修正部31基于所取得的摄像头图像来对环境光信息进行修正，生成修正环境光信息(S104)。物体检测部32基于所取得的激光信息和由信息修正部31生成的修正环境光信息，进行物标的检测(S105)。

如上所述，物体检测装置100基于摄像头图像来对环境光信息进行修正，生成修正环境光信息。并且，物体检测装置100基于所生成的修正环境光信息和激光信息，对物标进行检测。这样，物体检测装置100通过使用基于摄像头图像对环境光信息进行修正而得到的修正环境光信息，能够基于激光的反射光和环境光的反射光的检测结果(激光信息和修正环境光信息)来精度良好地检测物标。

在生成修正环境光信息的第1方法中，信息修正部31通过对环境光信息添加摄像头图像的颜色信息来生成修正环境光信息。在该情况下，信息修正部31能够增加环境光信息的颜色的通道数量。由此，物体检测装置100能够使用附加了摄像头图像的颜色信息的修正环境光信息和激光信息来精度更好地检测物标。

在生成修正环境光信息的第2方法中，信息修正部31通过在环境光信息的像素间添加摄像头图像的信息来生成修正环境光信息。在该情况下，信息修正部31能够提高环境光信息的分辨率。由此，物体检测装置100能够使用提高了分辨率的修正环境光信息和激光信息来精度更好地检测物标。

在生成修正环境光信息的第3方法中，信息修正部31基于由摄像头图像得到的分割信息来对环境光信息进行修正，生成修正环境光信息。在该情况下，物体检测装置100通过使用基于分割信息生成的修正环境光信息和激光信息，能够精度更好地检测物标。

在生成修正环境光信息的第4方法中，信息修正部31通过算出到环境光的反射点为止的距离，对环境光信息添加所算出的距离的信息，从而生成修正环境光信息。在该情况下，物体检测装置100能够使用附加了到环境光的反射点为止的距离的信息的修正环境光信息和激光信息来精度更好地检测物标。

以上，对本公开的实施方式进行了说明，但本公开并不限定于上述实施方式。本公开可以在不脱离本公开的宗旨的范围内进行各种变更。

Claims (5)

1.一种物体检测装置，具备：

激光照射部，其照射激光；

受光部，其能够检测所述激光的反射光和作为所述激光以外的光的环境光的反射光；

摄像头；

信息修正部，其基于由所述摄像头拍摄到的摄像头图像，对环境光信息进行修正来生成修正环境光信息，所述环境光信息是由所述受光部检测到的所述环境光的反射光的信息；以及

物体检测部，其基于所述修正环境光信息和激光信息来检测物标，所述激光信息是由所述受光部接收到的所述激光的反射光的信息。

2.根据权利要求1所述的物体检测装置，

所述信息修正部通过对所述环境光信息添加所述摄像头图像的颜色信息来生成所述修正环境光信息。

3.根据权利要求1或者2所述的物体检测装置，

所述信息修正部通过在所述环境光信息的像素间添加所述摄像头图像的信息来生成所述修正环境光信息。

4.根据权利要求1～3中任一项所述的物体检测装置，

所述信息修正部基于由所述摄像头图像得到的分割信息，对所述环境光信息进行修正来生成所述修正环境光信息。

5.根据权利要求1～4中任一项所述的物体检测装置，

所述信息修正部通过基于所述摄像头图像与所述环境光信息的视差来算出到所得到的所述环境光的反射点为止的距离，对所述环境光信息添加所算出的所述距离的信息，由此生成所述修正环境光信息。

Images