CN114556412A - 物体识别装置 - Google Patents

Abstract

本公开提供物体识别装置，具备图像分割部(32)、特征量计算部(34)、数据选择部(38)以及物体识别部(42)。图像分割部将从光传感器(10)获取的反射强度图像和背景光图像分别分割成相同的多个小区域。特征量计算部对分割后的反射强度图像和背景光图像的各自的小区域的部分图像数据计算特征量。数据选择部比较对相同小区域的反射强度图像和背景光图像的部分图像数据分别计算出的特征量，并选择容易识别物体的一方的特征量来作为选择部分图像数据。物体识别部基于由所选择的选择部分图像数据构成的整体图像数据，来识别物体。

Description

物体识别装置

相关申请的交叉引用

本国际申请主张基于在2019年10月9日向日本专利厅申请的日本专利申请第2019-186310号的优先权，通过参照将日本专利申请第2019-186310号的所有内容引用到本国际申请中。

技术领域

本公开涉及照射光来识别周围物体的技术。

背景技术

已知有照射光来识别周围物体的技术。例如，在下述的专利文献1所记载的技术中，在不同的定时照射发光量和曝光时间中的至少一方不同的第一光和第二光。然后，根据第一光与第一光的反射光的相位差以及第二光与第二光的反射光的相位差，来生成表示到物体的距离的第一距离图像和第二距离图像。

并且，在专利文献1所记载的技术中，从第一距离图像和第二距离图像中提取第一光的反射光的受光强度和第二光的反射光的受光强度中的每个像素具有较大的受光强度的一方的距离图像的像素，并利用提取出的像素来生成合成距离图像。

专利文献1：日本特开2017-181488号公报

在专利文献1所记载的技术中，考虑基于第一光的反射光图像和第二光的反射光图像双方的图像来识别物体。

然而，发明人详细研究的结果是发现了如下课题：如第一光的反射光图像和第二光的反射光图像那样，若对从物体获取的两种光的图像中的每个图像执行识别处理，则处理负荷增加。

发明内容

本公开的一个方面优选提供一种尽量减少根据反射强度图像和背景光图像这两种光的图像来识别周围物体所需的处理负荷的技术。

本公开的一个方式的物体识别装置具备图像分割部、特征量计算部、数据选择部以及物体识别部。

图像分割部将反射强度图像和背景光图像分别分割成相同的多个小区域，其中，上述反射强度图像是从向周围照射光并接受由物体反射的反射光的光传感器获取的，上述背景光图像是在光传感器未照射光时从光传感器获取的。特征量计算部对由图像分割部分割的反射强度图像和背景光图像各自的小区域的部分图像数据，计算用于识别物体的特征量。

数据选择部比较对相同小区域的反射强度图像和背景光图像的部分图像数据分别计算出的特征量，并选择容易识别物体的一方来作为选择部分图像数据。物体识别部基于由数据选择部对小区域分别选择出的选择部分图像数据构成的整体图像数据，来识别物体。

根据这样的结构，对两种光的图像亦即反射强度图像和背景光图像双方的整体图像执行的处理直到特征量的计算处理为止。

若对各个整体图像计算特征量，则对分割各个整体图像而成的相同小区域的部分图像数据，选择具有容易识别物体的一方的特征量的部分图像数据来作为选择部分图像数据。然后，基于由所选择的选择部分图像数据构成的一个整体图像数据来识别物体。

也就是说，若对反射强度图像和背景光图像双方的整体图像执行特征量的计算处理，则仅对由选择部分图像数据构成的一个整体图像数据执行物体的识别处理。因此，能够尽量减少识别物体所需的处理负荷。

附图说明

图1是表示物体识别装置的结构的框图。

图2是根据分割而成的小区域的部分图像数据来生成整体图像数据的说明图。

图3是表示物体识别处理的流程图。

图4是表示在相同的图像内使小区域成为不同的大小的整体图像数据的说明图。

图5是表示根据车速使小区域成为不同的大小的整体图像数据的说明图。

具体实施方式

以下，参照附图对本公开的实施方式进行说明。

[1.结构]

图1所示的物体识别系统2具备SPAD-LiDAR10和物体识别装置30。SPAD-LiDAR10具备发光部12、受光部14、距离图像获取部16、反射强度图像获取部18以及背景光图像获取部20。SPAD是Single Photon Avalanche Diode的缩写，LiDAR是Light Detection and Range的缩写。以下，也将SPAD-LiDAR仅称为LiDAR。

物体识别装置30具备图像分割部32、特征量计算部34、加权部36、数据选择部38、归一化部40以及物体识别部42。

LiDAR10的发光部12对车辆周围的任意方向、例如车辆的行进方向亦即前方的规定区域，在水平方向和垂直方向上进行扫描并且间歇性地照射脉冲状的激光。

受光部14接受由发光部12照射的激光被物体反射的反射光、在未照射激光期间太阳光或者照明等光源的光以及光源的光被物体反射的反射光即背景光。

受光部14具备二维排列的多个像素。各像素具备多个受光元件。受光元件输出具有与受光强度相应的电流值的受光信号。受光元件作为雪崩光电二极管，由以盖革模式动作的SPAD构成。作为受光元件，例如，也可以使用SPAD以外的雪崩光电二极管或者光电二极管等。

LiDAR10的距离图像获取部16基于从发光部12照射激光到受光部14接受反射光的时间，按每个像素来获取距物体的距离。

反射强度图像获取部18获取受光部14按每个像素接受由发光部12照射的激光的反射光的强度，作为整体图像获取反射强度图像。

在发光部12未照射激光期间，背景光图像获取部20获取受光部14按每个像素受光的强度，作为整体图像获取背景光图像。此外，在光传感器中，能够在相同定时以及相同视野范围获取反射强度和背景光。另外，在本实施方式中，根据亮度用灰度来表示反射光的强度和背景光的强度。

如图2所示，物体识别装置30的图像分割部32将由反射强度图像获取部18获取的反射强度图像和由背景光图像获取部20获取的背景光图像各自的整体图像分割成由相同的像素数构成的相同大小的小区域。在水平方向和垂直方向上分割整体图像的分割数可适当地设定。

特征量计算部34对反射强度图像和背景光图像的小区域中的各个部分图像数据，计算用于识别物体的特征量。作为特征量，例如计算对比度或者边缘的检测数或者角的检测数。

加权部36基于检测车辆周围的亮度的照度传感器的检测结果，车辆周围越暗，越使反射强度图像的部分图像数据的特征量的权重大于背景光图像的部分图像数据的特征量的权重。与此相对，车辆周围越亮，加权部36越使背景光图像的部分图像数据的特征量的权重大于反射强度图像的部分图像数据的特征量的权重。

这是因为在车辆周围较暗的情况下，背景光的强度降低，在车辆周围较亮的情况下，背景光的强度上升。

数据选择部38选择在小区域中对反射强度图像和背景光图像各自的部分图像数据计算出的特征量中容易识别物体的一方的部分图像数据，来作为小区域的选择部分图像数据。容易识别物体例如表示在图像中最亮的部分与最暗的部分之差较大，换言之，最亮的部分与最暗的部分之比较大。也就是说，若对比度较大，则容易识别物体。

如图2所示，数据选择部38选择在小区域中对反射强度图像和背景光图像各自的部分图像数据计算出的特征量中容易识别物体的一方的部分图像数据，并重构1帧的整体图像数据。

归一化部40使由数据选择部38重构的整体图像数据归一化。归一化部40例如按每个小区域生成边缘图像，作为对整体图像数据的归一化处理。

物体识别部42基于由归一化部40归一化的整体图像数据，例如，使用与人、车辆等物体的种类对应的识别器来识别车辆周围的物体。

[2.处理]

接下来，使用图3的流程图对物体识别装置30所执行的物体识别处理进行说明。

在图3的S400中，图像分割部32将反射强度图像分割成M×N个小区域。在该情况下，可以将各小区域设为固定的相同大小，也可以基于行驶环境和行驶状态等，根据小区域的位置将小区域的大小设为不同的大小。

例如，当作为行驶环境车辆在高速公路上行驶时，为了提高车辆前方的行驶车道或者相邻车道的车辆的识别精度，如图4所示，也可以使图像的中央部的小区域的大小小于图像的外周侧的小区域。此外，在行驶环境的判定中，例如使用车速信息、GPS的信息。GPS是Global Positioning System的缩写。

与此相对，根据行驶环境和行驶状态，也可以使图像的外周侧的小区域的大小小于图像的中央部的小区域。该小区域的大小的设定例如在需要提早检测行人等从左右的跳出的左转或右转时是有效的。此外，是否是左转或右转时的判定例如基于本车辆的转向指示灯信息、转向操纵角信息来进行。

另外，如图5所示，也可以作为行驶状态车速越快，使各小区域的大小越小。

在S402中，特征量计算部34对分割成M×N的反射强度图像的部分图像数据中的每个部分图像数据，计算用于识别物体的特征量αi(i＝1、…、M×N)。

在S404中，图像分割部32将背景光图像分割成M×N个小区域。小区域的大小的设定与反射强度图像中说明的内容相同。

在S406中，特征量计算部34对分割成M×N的背景光图像的小区域的部分图像数据中的每个部分图像数据，计算用于识别物体的特征量βi(i＝1、…、M×N)。

在S408中，加权部36如上述那样基于车辆周围的亮度，对反射强度图像和背景光图像的部分图像数据的特征量进行加权。加权后的各自的特征量是α’i＝w×αi、β’i＝y×βi。w和y是权重。

在S410中，数据选择部38判定在第i个小区域中，反射强度图像的部分图像数据的特征量α’i是否大于背景光图像的部分图像数据的特征量β’i。将特征量较大的部分图像数据的一方判定为容易识别物体。

当S410的判定为“是”、即反射强度图像的特征量α’i大于背景光图像的特征量β’i时，在S412中，数据选择部38选择反射强度图像的部分图像数据，来作为该小区域的选择部分图像数据。

当S410的判定为“否”、即背景光图像的特征量β’i为反射强度的特征量α’i以上时，在S414中，数据选择部38选择背景光图像的部分图像数据，来作为该小区域的选择部分图像数据。

若S416的判定为“是”、即对于所有的小区域，选择反射强度图像的部分图像数据或者背景光图像的部分图像数据中的任一方来作为选择部分图像数据，并生成1帧的整体图像数据，则在S418中，归一化部40根据小区域的选择部分图像数据来生成边缘图像，并对选择部分图像数据进行归一化。在S420中，物体识别部42基于由归一化后的选择部分图像数据构成的整体图像数据来识别物体。

[3.效果]

根据以上说明的上述实施方式，能够得到以下的效果。

(3a)在基于反射强度图像和背景光图像来识别车辆周围的物体的物体识别处理中，各个图像被分割成多个小区域。然后，在小区域中选择反射强度图像和背景光图像的部分图像数据中具有容易识别物体的特征量的一方的部分图像数据来作为小区域的选择部分图像数据，构成整体图像数据。然后，基于所构成的整体图像数据，来识别物体。

由此，由于无需对反射强度图像和背景光图像双方的图像数据执行物体的识别处理，因此能够尽量减少物体识别处理的处理负荷。

(3b)由于由归一化后的选择部分图像数据构成整体图像数据，因此能够对整体图像数据以相同的基准执行物体的识别处理。因此，能够容易地识别车辆周围的物体。

(3c)由于基于车辆周围的亮度，对反射强度图像和背景光图像的部分图像数据的特征量进行加权，因此能够选择反射强度图像和背景光图像中适合车辆周围的亮度的部分图像数据。

(3d)基于车辆的行驶环境或者行驶状态，能够适当地设定分割图像的小区域的大小。例如，根据车辆的行驶环境或者行驶状态，考虑对于车辆的前方等想要高精度地识别物体、例如车辆、掉落物的部分的图像细致地分割，对于天空等在图像中被认为不存在物体的部分的图像粗略地分割。

在上述实施方式中，LiDAR10相当于光传感器。

[4.其他实施方式]

以上，对本公开的实施方式进行了说明，但本公开并不限定于上述的实施方式，能够进行各种变形来实施。

(4a)在上述实施方式中，对由搭载于车辆的物体识别装置30进行的识别处理进行了说明，但并不限定于此。例如，也可以是搭载于移动机器人的物体识别装置，或者也可以是设置于停车场等的监视用的物体识别装置。

(4b)在上述实施方式中，对小区域的部分图像数据进行了归一化后执行物体的识别处理，但并不限定于此，也可以不使小区域的部分图像数据归一化而执行物体的识别处理。

(4c)在上述实施方式中，在归一化处理中执行了边缘图像生成，但并不限定于此，也可以生成HoG特征量、SIFT特征量。另外，也可以对某个小区域的选择部分图像数据计算周围的选择部分图像数据的对比度的平均值，变换各像素的亮度以成为该对比度值。另外，也可以对小区域间的边界附近的像素进行平滑化处理。由此，能够使整体图像数据的小区域的边界平滑。

(4d)在上述实施方式中，在小区域中，选择了反射强度图像或者背景光图像中的任意一方来作为选择部分图像数据，但并不限定于此。例如，也可以选择为了选择选择部分图像数据而计算出的反射强度图像和背景光图像的各自的特征量中的任意一方来作为选择部分图像数据。

也就是说，当检测边缘作为特征量时，也可以选择被判定为在某个小区域中容易识别物体的一方的边缘检测结果、即边缘图像来作为选择部分图像数据来重构整体图像数据。由此，当在后级进行归一化处理时，能够省略该处理。

(4e)在上述实施方式中，基于车辆周围的亮度，对反射强度图像的部分图像数据的特征量和背景光图像的部分图像数据的特征量进行了加权。与此相对，也可以采用不对反射强度图像的部分图像数据的特征量和背景光图像的部分图像数据的特征量进行加权的处理。

(4f)在上述实施方式中，对于周围的亮度的检测使用了照度传感器，但并不限定于此。例如，也可以根据时刻判定是白天还是黑夜来检测亮度。另外，也可以对背景光图像整体的对比度的平均值进行阈值处理，如果是某阈值以上则检测为明亮。

(4g)在上述实施方式中，基于行驶环境和行驶状态等来改变小区域的大小，但并不限定于此。例如，也可以在1帧前识别出车辆等物体时，关于该识别出的区域周围的区域，缩小分割时的小区域，即细致化。由此，能够提高物体的识别精度。另外，小区域的大小可以按每帧改变，也可以按几帧改变。

(4h)本公开所记载的物体识别装置30及其方法也可以通过专用计算机来实现，该专用计算机通过构成被编程为执行利用计算机程序具体化的一个或多个功能的处理器以及存储器来提供。或者，本公开所记载的物体识别装置30及其方法也可以通过利用一个以上的专用硬件逻辑电路构成处理器而被提供的专用计算机来实现。或者，本公开所记载的物体识别装置30及其方法也可以通过一个以上的专用计算机来实现，该一个以上的专用计算机由被编程为执行一个或多个功能的处理器和存储器以及由一个以上的硬件逻辑电路构成的处理器的组合构成。另外，计算机程序也可以作为由计算机执行的指令存储于计算机可读取的非过渡实体记录介质。在实现物体识别装置30所包含的各部的功能的方法中，未必需要包含软件，其全部的功能也可以使用一个或者多个硬件来实现。

(4i)可以通过多个构成要素来实现上述实施方式中的一个构成要素所具有的多个功能、或者通过多个构成要素来实现一个构成要素所具有的一个功能。另外，也可以通过一个构成要素来实现多个构成要素所具有的多个功能、或者通过一个构成要素来实现由多个构成要素实现的一个功能。另外，也可以省略上述实施方式的结构的一部分。另外，也可以对其他上述实施方式的结构附加或者置换上述实施方式的结构的至少一部分。

(4j)除了上述的物体识别装置30之外，也能够以将该物体识别装置30作为构成要素的系统、用于使计算机作为该物体识别装置30发挥功能的程序、记录有该程序的半导体存储器等非过渡性实体记录介质、物体识别方法等各种方式来实现本公开。

Claims (7)

1.一种物体识别装置，具备：

图像分割部(32、S400、S404)，构成为将反射强度图像和背景光图像分别分割成相同的多个小区域，其中，上述反射强度图像是从向周围照射光并接受由物体反射的反射光的光传感器(10)获取的，上述背景光图像是在上述光传感器未照射光时从上述光传感器获取的；

特征量计算部(34、S402、S406)，构成为对由上述图像分割部分割的上述反射强度图像和上述背景光图像各自的上述小区域的部分图像数据，计算用于识别上述物体的特征量；

数据选择部(38、S410～S414)，构成为比较对相同上述小区域的上述反射强度图像和上述背景光图像的上述部分图像数据分别计算出的上述特征量，并选择容易识别上述物体的一方来作为选择部分图像数据；以及

物体识别部(42、S420)，构成为基于由上述数据选择部对上述小区域分别选择出的上述选择部分图像数据构成的整体图像数据，来识别上述物体。

2.根据权利要求1所述的物体识别装置，其中，

上述特征量计算部构成为计算上述部分图像数据的对比度或者边缘的检测数或者角的检测数来作为上述特征量，

上述数据选择部构成为上述小区域中，将上述反射强度图像和上述背景光图像的上述部分图像数据中的上述对比度较大的、或者上述边缘的检测数较多的、或者上述角的检测数较多的一方作为上述小区域的上述选择部分图像数据。

3.根据权利要求1或2所述的物体识别装置，其中，

还具备归一化部(40、S418)，构成为对由上述数据选择部选择的上述小区域的上述选择部分图像数据进行归一化，

上述物体识别部构成为基于整体图像数据来识别上述物体，其中，上述整体图像数据由通过上述归一化部进行了归一化后的上述小区域的上述选择部分图像数据构成。

4.根据权利要求1～3中任一项所述的物体识别装置，其中，

还具备加权部(36、S408)，上述加权部构成为周围越亮，越相对于上述反射强度图像增大上述背景光图像的上述特征量的权重，周围越暗，越相对于上述背景光图像增大上述反射强度图像的上述特征量的权重，

上述数据选择部构成为选择具有由上述加权部进行加权后的相同上述小区域的上述反射强度图像和上述背景光图像的上述特征量中容易识别上述物体的一方的上述特征量的上述部分图像数据，来作为该上述小区域的上述选择部分图像数据。

5.一种物体识别装置，其中，

权利要求1～4中任一项所记载的物体识别装置搭载于车辆，

上述图像分割部构成为基于上述车辆的行驶环境和行驶状态中的至少任意一个，来设定上述小区域的大小。

6.一种物体识别装置，其中，

权利要求1～4中任一项所记载的物体识别装置搭载于车辆，

上述图像分割部构成为基于上述车辆的行驶环境和行驶状态中的至少任意一个，并根据上述小区域的位置将上述小区域设定为不同的大小。

7.根据权利要求1～6中任一项所述的物体识别装置，其中，

上述光传感器的受光元件由SPAD构成。

Images