CN111801594A - 对象识别系统、汽车、车辆用灯具、对象的聚类方法 - Google Patents

Abstract

三维传感器(20)生成表示到多个点各自的距离的点组数据(S1)。运算处理装置(40)根据点组数据(S1)中形成一个层的点组将对象聚类。

Description

对象识别系统、汽车、车辆用灯具、对象的聚类方法

技术领域

本发明涉及对象识别系统。

背景技术

作为汽车的传感器，举出LiDAR(Light Detection and Ranging：光检测与测距、Laser Imaging Detection and Ranging：激光成像检测与测距)、摄像机、毫米波雷达、超声波声纳等作为候选。其中，与其他传感器相比较，LiDAR具有以下等优点：(i)能够进行基于点组数据的物体识别；(ii)因为是有源感测，故在坏天气时也能够进行高精度的检测；(iii)能够进行广范围的测量；今后，被期待成为汽车的感测系统中的主流。

图1是表示使用了LiDAR2的测距系统1的图。LiDAR2具有在垂直方向上N条的分辨率，各层L₁～L_N具有在水平方向上Δθ度的分辨率。从LiDAR2射出的光由对象OBJ反射。LiDAR2生成的点组数据表示LiDAR2和各点p_i的距离r_i。

点组数据表示对象的形状，因此通过处理点组数据，可以判断对象的种类(车辆、行人等)。

在根据LiDAR生成的点组数据的对象识别中，作为其前处理，进行按对象分割点组数据的聚类。图2是说明现有的聚类的算法的图。图2中，示出从上方观察测量系统的俯视图。在该算法中，当着眼于点组数据中的某个点(称为着眼点)时，将被包含在以着眼点为中心的半径r的球中的点分类在相同集群中。该算法也在作为自动驾驶系统用开源软件所公知的Autoware中采用(非专利文献1)。

在该示例中，简要示出相同层上的五个点p₁～p₅，点p₁～p₃位于对象OBJ1上，点p₄、p₅位于对象OBJ2上。点p₂被包含在以点p₁为中心的半径r的球中，点p₃被包含在以点p₂为中心的半径r的球中，因此点p₁～p₃被判断为同一集群。另外，点p₅被包含在以点p₄为中心的半径r的球中，因此点p₄、p₅被判断为同一集群。点p₃和点p₄的距离大于r，因此将点p₁～p₃与点p₄、p₅作为不同的对象。

[现有技术文献]

[专利文献]

专利文献1：日本国特开2017-56935号公报

专利文献2：日本国特开2009-98023号公报

[非专利文献]

非专利文献1：自动驾驶软件：Autoware、[online]、名古屋大学、互联网＜URL：https://www.pdsl.jp/fot/autoware/＞

发明内容

[发明要解决的课题]

本发明的发明者针对现有的聚类算法进行研究，最终认识到以下课题。

＜第一课题＞

由LiDAR所获得的是LiDAR和各点p_i之间的距离r_i，但在该算法中，需要计算点p_i和点p_j的距离，计算成本升高。

另外，在图2中，对相同层上的点彼此进行了比较，但还需要比较不同高度的点彼此。在以M×N个的矩阵给出点组数据的情况下，两点的组合为_M×NC₂＝(M×N)(M×N－1)/2，因此测距点的数量增加时计算成本会爆发式增加。即使采用kd-tree等的搜索算法，处理中也需要高速的处理器。

＜第二课题＞

图3的(a)是从横向观察测距系统1的图。在车载或交通基础设置上安装识别系统的情况下，LiDAR到对象的距离在几m～几百m的范围内变化。当到对象OBJ’的距离较远时，下方的层的大部分没有照射对象OBJ’而照射地面。因此，将所有的测距点作为搜索对象因情况而言是徒劳的。

＜第三课题＞

图3的(b)是从上方观察测距系统1的图。在图3的(b)那样的情况中，点p₄和点p₅虽然为相同对象OBJ2上的点，但它们的距离大于半径r。因此，点p₄和点p₅被误判断为不同集群6_2、6_3。

本发明是在相关状况中得到的，其一方案的例示性目的之一在于，提供能够以较少的运算量进行聚类的系统、装置、方法。

[用于解决技术问题的方法]

本发明的一方案包括：三维传感器，生成表示到多个点各自的距离的点组数据；以及运算处理装置，根据点组数据中形成一个层的点组将对象聚类。

[发明效果]

根据本发明，能够以少的运算量进行聚类。

附图说明

图1是表示使用了LiDAR的测距系统的图。

图2是说明现有的聚类的算法的图。

图3的(a)是从横向观察测距系统的图，图3的(b)是从上方观察测距系统的图。

图4是实施方式的对象识别系统的框图。

图5是说明聚类的图。

图6是示出基于水平层的聚类的具体示例的图。

图7是示出阈值th和距离r的关系的一个示例的图。

图8是示出聚类部的处理的一个示例的流程图。

图9的(a)、(b)是说明根据图8的流程图的聚类的图。

图10是示出聚类部的处理的另一示例的流程图。

图11是具有对象识别系统的汽车的框图。

图12是示出具有对象识别系统的车辆用灯具的框图。

具体实施方式

(实施方式的概要)

本说明书所公开的一实施方式涉及对象识别系统。对象识别系统包括：三维传感器，生成表示到多个点各自的距离的点组数据；以及运算处理装置，根据点组数据中形成一个层的点组将对象聚类。

与交通相关联地应识别的对象大多与地面接触而位于比其靠上方的位置。即，基本上不产生在相同位置上下存在两个不同的对象的情况。因此，通过仅着眼于适当高度的层进行聚类，能够大幅减少运算量。

也可以是，一个层位于实质上从三维传感器水平的位置。换言之，一个层是从三维传感器的俯仰角实质上为零的层。由此，可以与到对象的距离无关地，将该层的离地面的高度实质上设为固定。另外，在车载用途中，将三维传感器设置在前大灯或保险杠的高上的情况下，一个层横切人的脚(或腰)、车辆的前大灯或保险杠的高度，因此能够可靠地捕捉应识别的对象。

运算处理装置着眼于形成一个层的点组中相邻的两点时，当到各点的距离的差小于阈值时，可以将两点判断为同一集群。由此，不需要运算两点间的距离，因此可以进一步减少运算量。

LiDAR等的三维传感器在水平方向上呈放射状地放射激光束。某一对象接近LiDAR时，相邻的两条激光束照射在对象上的、距离相对近的两点，该对象从LiDAR远离时，照射同样相邻的两条激光束的两点的距离变远。因此，阈值可以根据距离而设定为可变，阈值也可以是距离越远而越大。阈值也可以对应于到同一集群所包含的点的距离的平均值。

运算处理装置着眼于间隔为规定值以下的处于非相邻关系的第1点和第2点时，当到第1点的距离与到第2点的距离的差小于阈值时，可以将第1点和第2点判断为同一集群。通过将非相邻的两点也设定为比较对象，可以抑制噪声的影响。另外，通过以规定值为参数限制搜索范围，可以抑制运算量的增加。

(实施方式)

下面，基于优选的实施方式参照附图说明本发明。对各附图所示的相同或等同的构成要素、构件、处理，标注相同的附图标记，适当省略重复的说明。另外，实施方式并不限定发明，仅是例示，并非实施方式所记载的所有特征或其组合都是发明的本质。

图4是实施方式的对象识别系统10的框图。该对象识别系统10是被搭载于汽车或摩托车等车辆的车载用，判断存在于车辆的周围的对象OBJ的种类(也可称为范畴)。

对象识别系统10主要包括三维传感器20和运算处理装置40。三维传感器20生成点组数据S1，其表示到前方的对象OBJ的表面上的多个点的距离。关于不能测量来自对象OBJ的反射的点，作为规定值(负、零或无限大)进行测量。

运算处理装置40根据点组数据S1，判断存在于对象识别系统10的前方的对象OBJ1、OBJ2···的种类(归类)。作为归类的前处理，进行将点组数据S1分割为对象OBJ1、OBJ2、…的每个的子数据S2_1、S2_2，…的处理(称为聚类)。

三维传感器20没有特别地限定，但在想要正确地识别行人等凹凸小的对象的情况下，优选使用LiDAR。LiDAR的结构没有特别地限定，扫描型、非扫描型都可以。

运算处理装置40可以通过CPU(Central Processing Unit：中央处理器)、GPU(Graphics Processing Unit：图形处理器)或微型计算机等的处理器(硬件)与处理器(硬件)执行的软件程序的组合来实现。运算处理装置40也可以是多个处理器的组合。

运算处理装置40包括存储器42、聚类部44、分割部46、归类部48。点组数据S1被存储在存储器42中。聚类部44判断各对象OBJ存在的水平方向的位置(范围)。

分割部46根据聚类部44的聚类的结果，将点组数据S1分割为每个对象的子数据S2。

归类部48针对子数据S2_1、S2_2、…的各个，判断其所包含的对象的种类。

图5是说明聚类的图。矩形S1表示三维传感器20生成的点组数据。另外，矩形S2_1、S2_2表示子数据。

接着，针对聚类进行说明。

三维传感器20获取的点组数据S1可以看作从地面向上的高度不同的点组、换言之从三维传感器20观察的俯仰角不同的点组的集合，将同一高度的多个点的集合称为“层”。运算处理装置40(聚类部44)并不是根据所有的点组数据S1，而是根据点组数据S1中形成应关注的一个层Lx的点组将对象聚类。

优选地，在聚类时应关注的一个层Lx位于从三维传感器20实质上水平的位置。下面，将关注的层Lx也称为水平层。水平层换言之也可以理解为俯仰角接近零的层。由此，不依赖于到对象OBJ的距离地，将测量点的高度设为固定。

与交通相关联地应识别的对象OBJ(行人或汽车)大多与地面接触而位于比其靠上方的位置。即，基本上不产生在相同位置上下存在两个不同的对象的情况。因此，通过仅着眼于适当的高度的层进行聚类，能够大幅减少运算量。

图6是示出基于水平层的聚类的具体示例的图。图6中仅示出形成层Lx的点组p₁、p₂、p₃、p₄。对象OBJ1、OBJ2的形状与图2的(b)的对象OBJ1、OBJ2相同。

运算处理装置40(聚类部44)着眼于一个层Lx上的点中相邻的两点p_i、p_i+1时，到各点p_i、p_i+1的距离r_i、r_i+1的差d_i,,i+1＝|r_i－r_i+1|小于阈值th时，将两点p_i、p_i+1聚类于同一集群。在图6的例子中，将点p₁、p₂判断为同一集群6_1，将点p₃、p₄判断为同一集群6_2。

关于第三课题，由图6和图3的(b)的对比可以明确实施方式的聚类的优点之一。如图3的(b)所示，点p₃和p₄的距离大于规定的半径r，在现有方法中，不能判断为同一集群。对此，在图6中，由于着眼于点p₃、p₄和三维传感器20的距离的差d_3,4，因此即使在应用与图3的半径r相等的阈值th的情况下，也能够将两个点p₃、p₄判断为同一集群。在现有的方式中，增大半径r时可得到相同的结果，但大的半径r成为将不同对象上的点误判断为同一集群的因素。另一方面，可以理解，在本实施方式中，由于不需要增大阈值th，从而能够抑制错误判断。

优选阈值th根据距离r可变(缩放)。图7的(a)是说明到对象的距离与对象上的两点p₁、p₂的距离的差d_1,2的图。某一对象OBJ处于靠近LIDAR2的位置(图中，左侧)时，到相邻的激光束LB1、LB2所照射的对象OBJ上的两点p₁、p₂的距离为r₁、r₂，它们的差d_1,2为r₂－r₁。

考虑同一对象OBJ位于离LIDAR2相对远的位置(图中，右侧)的情况。此时，对象OBJ的激光束LB1的照射位置为相同(p₁’＝p₁)，但激光束LB2的照射位置p₂’偏离原位置p₂(p₂’≠p₂)。

也就是说，对象OBJ接近LiDAR时，相邻的两条激光束被照射在对象上的、距离相对近的两点p₁、p₂，该对象从LiDAR远离时，照射同样的相邻的两条激光束的两点p₁、p₂的距离变远。图7的(b)是示出到对象的距离与到两点的距离的差的关系的图。对象OBJ远时的两个点p₁’、p₂’的距离的差d_1,2’大于对象OBJ近时的两个点p₁、p₂的距离的差d_1,2。

即，将以到对象OBJ近时为基准确定的阈值th也应用于远方的对象时，存在将相同对象上的两点p₁’、p₂’误判断为不同的对象的可能性。因此，如图7的(c)所示，距离r越长，取阈值th越大即可。由此，能够不依赖于到对象的距离地进行正确的聚类。

阈值th可以根据到至此被判断为同一集群的多个点的距离的平均值进行设定。

在另一实施例中，将到作为比较对象的两点p_i、p_i+1的距离r_i、r_i+1用一者的距离r_i(或者接近其的值)除来标准化，将标准化的距离的差分(1－r_i/r₁₊₁)与阈值进行比较即可。此时的阈值可以不依赖于到对象的距离地设定为固定。

运算处理装置40着眼于间隔为规定值K以下的处于非相邻关系的第1点p_i和第2点pj时，到第1点p_i的距离r_i和到第2点p_j的距离r_j的差d_i,j小于阈值th时，将第1点p_i和第2点p_j作为同一集群。换言之，允许第2点p_j从第1点p_i最大离开K个(K＜＜M)。M是三维传感器20的水平方向的分辨率。例如K设定为2～5左右即可。

图8是示出聚类部44的处理的一个示例的流程图。从一端依次对形成水平层Lx的点组进行编号(S100)。对于不能检测到反射(距离)的点，也可以不赋予编号。

接着，将变量i初始化(S102)，将变量j初始化(S104)。将两点p_i、p_j的距离r_i、r_j的差分d_i,j与阈值th相比较(S106)。当差分d_i,j小于阈值th时，将点p_i、p_j判断为同一集群，存储在集群队列(Cluster Queue)中(S108)。当差分d_i,j大于阈值th时，将点p_i、p_j判断为同一集群，被存储在集群队列中(S108)。此外，在过去的判定后，两点p_i、p_j已存储在集群队列中的情况下，可以省略比较处理。

j≦i+K时(S110的N)，将j增加1，将第2点移动至下一点，返回处理S106。相反，j＞i+K时(S110的Y)，增加i，移位第1点p_i，返回处理S104。

图9的(a)、(b)是说明基于图8的流程图的聚类的图。图9的(a)是表示作为聚类的对象的水平层的图，横轴表示编号，纵轴表示距离。图9的(b)是表示比较结果和集群队列的图。

在该示例中，设定为K＝3。在图9的(b)中，虚线表示在比较对象完成聚类时省略比较的情况。图9的(a)的情况下，点p₁～p₆被判断为同一集群，点p₇、p₈被判断为同一集群。

在图8的处理中，在设定为针对不能检测到反射(距离)的点不赋予编号的情况下，在实质上相同的距离，当多个对象(人或汽车)在水平方向上分开存在的状况下，存在误将其作为同一对象进行聚类的可能性。该问题可以如下进行解决。

图10是示出聚类部的处理的另一示例的流程图。对于多个点组，赋予两个索引(S101)。详细地，包含没有得到反射的点地从一端起依次编号，将其值作为第一索引(index1)。另外，除去不能检测到反射(距离)的点，从一端起进行编号，将其值作为第二索引(index2)。保持两个index1、index2的关系。

关于处理S102～S112，与图8同样，关于i、j，使用第二索引的值。

在处理S110中，j＞i+K时，将集群队列内的index2转换为index1(S116)。并且，在转换后，集群队列内的索引连续时(S118的Y)，将集群队列内的多个索引作为同一对象输出(S120)。转换后，集群队列内的索引不连续时(S118的N)，将集群队列内的多个索引分割为多个集群队列输出(S122)。

通过图10的处理，在实质上相同距离，在水平方向上分开存在多个对象(人或汽车)的状况下，能够将其作为不同的对象正确地聚类。

图11是具有对象识别系统10的汽车的框图。汽车100包括前照灯102L、102R。对象识别系统10之中，至少三维传感器20被内置于前照灯102L、102R的至少一者中。前照灯102位于车身的最前端，在检测周围的对象上，作为三维传感器20的设置位置是最有利的。关于运算处理装置40，可以内置于前照灯102，也可以设置在车辆侧。例如也可以是，运算处理装置40中，中间数据的生成在前照灯102的内部进行，最终数据的生成交给车辆侧。

图12是示出具有对象识别系统10的车辆用灯具200的框图。车辆用灯具200包括光源202、点灯电路204、光学系统206。并且，在车辆用灯具200中设置有三维传感器20和运算处理装置40。与运算处理装置40检测到的对象OBJ相关的信息被发送到车辆ECU104。车辆ECU可以根据该信息，进行自动驾驶。

另外，可以将与运算处理装置40检测到的对象OBJ相关的信息利用在车辆用灯具200的配光控制中。具体而言，灯具ECU208根据与运算处理装置40生成的对象OBJ的种类和其位置相关的信息，生成适当的配光图案。点灯电路204和光学系统206以可得到灯具ECU208生成的配光图案的方式工作。

在实施方式中，说明了车载用的对象识别系统10，但本发明的应用并不限定于此，例如被固定地设置于信号器、交通标识或其他的交通设施，也可以应用在定点观测的用途中。

(変形例)

在实施方式中，说明了基于从三维传感器20起的俯仰角为零的水平层Lx的聚类，但应着眼的1个层并不限定于此，也可以根据水平层的上一层、或下一层的层进行聚类。

基于实施方式，利用具体的语言说明了本发明，但实施方式仅表示本发明的原理、应用的一个侧面，在实施方式中，在不脱离权利要求的范围所规定的本发明的思想的范围内，允许多个变形例或配置的变更。

[工业上的可利用性]

本发明涉及对象识别系统。

[附图标记说明]

10 对象识别系统

20 三维传感器

40 运算处理装置

42 存储器

44 聚类部

46 分割部

48 归类部

S1 点组数据

100 汽车

102 前照灯

104 车辆ECU

200 车辆用灯具

202 光源

204 点灯电路

206 光学系统

208 灯具ECU

Claims (10)

1.一种对象识别系统，其特征在于，包括：

三维传感器，生成表示到多个点各自的距离的点组数据；以及

运算处理装置，根据所述点组数据中形成一个层的点组将对象聚类。

2.根据权利要求1所述的对象识别系统，其特征在于，

所述一个层位于从所述三维传感器实质上水平的位置。

3.根据权利要求1或2所述的对象识别系统，其特征在于，

所述运算处理装置着眼于形成所述一个层的点组中相邻的两点时，当到各点的距离的差小于阈值时，将两点判断为同一集群。

4.根据权利要求1至3中任一项所述的对象识别系统，其特征在于，

所述运算处理装置着眼于间隔为规定值以下的处于非相邻关系的第1点和第2点时，当到所述第1点的距离和到所述第2点的距离的差小于阈值时，将所述第1点和所述第2点判断为同一集群。

5.根据权利要求3或4所述的对象识别系统，其特征在于，

所述阈值是根据所述距离可变的。

6.根据权利要求5所述的对象识别系统，其特征在于，

所述阈值对应于到同一集群所包含的点的距离的平均值。

7.一种汽车，其特征在于，包括：

权利要求1至6中任一项所述的对象识别系统。

8.根据权利要求7所述的汽车，其特征在于，

所述三维传感器被内置在前照灯中。

9.一种车辆用灯具，其特征在于，包括：

权利要求1至6中任一项所述的对象识别系统。

10.一种方法，是将对象聚类的方法，其特征在于，包括：

通过三维传感器生成点组数据的步骤；以及

根据所述点组数据中一个层上的点组将对象聚类的步骤。

Images