CN111919139A - 对象识别系统、汽车、车辆用灯具、对象的种类的识别方法 - Google Patents

Abstract

三维传感器(20)针对高度不同的多个水平线(L1～LN)，生成多个线数据(LD1～LDN)。多个第一神经网络(72)生成与多个线数据(LD)的对应的一个相关的第一中间数据(MD)。第一中间数据(MD1)表示对应的线数据符合多个种类的多个部位各者的概率。结合处理部(74)接收多个第一中间数据(MD1)，将其结合，生成至少一个第二中间数据(MD2)。第二神经网络(76)接收至少一个第二中间数据(MD2)，生成表示对象(OBJ)符合多个种类各者的概率的最终数据(FD)。

Description

对象识别系统、汽车、车辆用灯具、对象的种类的识别方法

技术领域

本发明涉及对象识别系统。

背景技术

作为汽车的传感器，举出LiDAR(Light Detection and Ranging：光检测与测距、Laser Imaging Detection and Ranging：激光成像检测与测距)、摄像机、毫米波雷达、超声波声纳等作为候选。其中，与其他传感器相比较，LiDAR具有以下等优点：(i)能够进行基于点组数据的物体识别；(ii)因为是有源感测，故在坏天气时也能够进行高精度的检测；(iii)能够进行广范围的测量；今后，被期待成为汽车的感测系统中的主流。

[现有技术文献]

[专利文献]

专利文献1：日本国特开2017-56935号公报

专利文献2：日本国特开2009-98023号公报

发明内容

[发明要解决的课题]

在基于LiDAR生成的点组数据的对象识别中，点组数据的分辨率越高越正确，但运算处理的成本会爆发式增加。在考虑搭载在车辆的情况下，也预想到要不得不使用低价格的低端运算处理装置的情况，自然要求减少扫描线的条数。

本发明是在相关状况下得到的，其一方案的例示性的目的之一在于，提供一种能够以较少条数的水平线识别对象的系统、装置、方法。

[用于解决课题的方法]

本发明一方案涉及对象识别系统。对象识别系统包括：三维传感器，针对高度不同的多个水平线，生成多个线数据，以及运算处理装置，根据多个线数据识别对象的种类(范畴或类别)。运算处理装置包括：多个第一神经网络，分别生成与多个线数据的对应的一个相关的第一中间数据，第一中间数据表示对应的线数据符合多个种类的多个部位各者的概率(所属概率)；结合处理部，接收与多个线数据对应的多个第一中间数据，结合多个第一中间数据，生成至少一个第二中间数据；以及第二神经网络，接收至少一个第二中间数据，生成表示对象符合所述多个种类各者的概率的最终数据。

本发明的另一方案涉及汽车。汽车可以具有上述的对象识别系统。

三维传感器可以内置在前照灯中。

本发明的其他方案涉及车辆用灯具。车辆用灯具也可以包括上述对象识别系统。

[发明效果]

根据本发明，能够以较少条数的水平线识别对象。

附图说明

图1是实施方式的对象识别系统的框图。

图2是示出针对行人定义的多个部位的一个示例的图。

图3的(a)～(d)是表示用三维传感器拍摄行人、自行车、汽车、电线杆时的多个线数据的图。

图4是表示第一神经网络的构成例的框图。

图5是表示第二神经网络的构成例的框图。

图6的(a)～(c)是说明对象的提取的图。

图7的(a)～(c)是说明第一学习方法的图。

图8的(a)、(b)是说明行人的拍摄的图。

图9是表示第一神经网络进行的25类别的分类的正确率的图。

图10是表示第二神经网络进行的4类别的分类的正确率的图。

图11是包括对象识别系统的汽车的框图。

图12是表示包括对象识别系统的车辆用灯具的框图。

图13的(a)、(b)是表示LiDAR的高度与对象的关系的图，图13的(c)是表示通过利用第一学习方法学习完成的对象识别系统，在图13的(b)的状况下所得到的最终数据的图。

图14是说明第二学习方法中的第二运算单元的学习步骤的图。

图15是说明第二学习方法的效果的图。

图16是变形例的对象识别系统的框图。

图17是第二实施方式的对象识别系统的框图。

图18是示出结合处理部的处理的一个示例的图。

图19是示出通过第二实施方式的对象识别系统，在图13的(b)的状况下得到的最终数据的图。

图20是变形例3的对象识别系统的框图。

具体实施方式

(实施方式的概要)

本说明书所公开的一实施方式涉及对象识别系统。对象识别系统包括：三维传感器，针对高度不同的多个水平线，生成多个线数据；以及运算处理装置，根据多个线数据识别对象的种类(范畴或类别)。运算处理装置分别包括：多个第一神经网络，生成与多个线数据所对应的一者相关的第一中间数据，第一中间数据表示对应的线数据符合多个种类的多个部位的各者的概率(所属概率)；结合处理部，接收与多个线数据对应的多个第一中间数据，结合多个第一中间数据，生成至少一个第二中间数据；以及第二神经网络，接收至少一个第二中间数据，生成表示对象符合多个种类的各者的概率的最终数据。

通过这样的方式，能够以较少条数的水平线，判定对象的种类。另外，通过结合多个第一中间数据，可以降低高度方向上的依赖性。由此，能够缓和三维传感器的设置限制。此外，值得注意的是，通过结合处理，并不会完全失去高度方向的信息，部位可以继续保持高度的信息。

可以是，至少一个第二中间数据为一个，根据多个第一中间数据的全部得到第二中间数据。

可以是，至少一个第二中间数据为多个，根据多个第一中间数据中连续的几个得到第二中间数据。

可以是，至少一个第二中间数据分别是对应的几个第一中间数据的平均值或总和。平均值可以是简单平均值，也可以是加权平均值。并且，至少一个第二中间数据可以分别是对应的几个第一中间数据的最大值。

可以是，在运算处理装置中，执行：利用测定了多个种类的多个部位的各者的多个线数据，使第一神经网络学习的步骤；在将学习完成的多个第一神经网络的输出经由结合处理部与第二神经网络结合的状下，使第二神经网络学习的步骤。

可以是，作为预处理，运算处理装置进行将各线数据所包含的值用规定值来除的标准化。

对象的种类可以至少包括行人、骑自行车的人、汽车。

下面，基于优选的实施方式参照附图说明本发明。对各附图所示的相同或等同的构成要素、构件、处理，标注相同的附图标记，适当省略重复的说明。另外，实施方式并不限定发明，仅是例示，并非实施方式所记载的所有特征或其组合都是发明的本质。

(第一实施方式)

图1是第一实施方式的对象识别系统10的框图。该对象识别系统10是被搭载于汽车或摩托车等车辆的车载用，判断存在于车辆的周围的对象OBJ的种类(也可称为范畴或类别)。

对象识别系统10主要包括三维传感器20和运算处理装置40。三维传感器20针对高度不同的多条水平线L1～LN，生成多个线数据LD1～LDN。水平线的数量N没有特别地限定，但为20条以下，优选4～12条左右。各线数据LD包括沿着对应的水平线L的到多个采样点P的距离信息。将多个线数据LD1～LDN的组(set)称为测距数据。三维传感器20没有特别地限定，但在需要正确地识别行人等凹凸小的对象的情况下，优选使用LiDAR。水平线的数量N即为垂直方向的分辨率。LiDAR的结构没有特别地限定，扫描型、非扫描型都可以。

运算处理装置40根据包含多个线数据LD1～LDN的测距数据识别对象的种类(类别)。运算处理装置40被构成为将包括一个对象的数据作为处理对象，在一个测距数据中包括多个对象的情况下，通过预处理分割成包括一个对象的子帧，运算处理装置40将子帧作为处理单位。

运算处理装置40能够由CPU(Central Processing Unit：中央处理器)或GPU(Graphics Processing Unit：图形处理单元)、微型计算机等的处理器(硬件)、与处理器(硬件)执行的软件程序的组合来实现。运算处理装置40也可以是多个处理器的组合。

例如对象的种类可例示行人、自行车、汽车、电线杆等。关于行人，可以将从前方观察到的行人、从后方观察到的行人、从侧面观察到的行人分类为相同种类进行定义。汽车、自行车也是一样。在本实施方式中采用该定义。

在本实施方式中，对象OBJ针对不同的高度，定义多个部位(称为类别或者子类别)。图15是表示针对行人所定义的多个部位的一个示例的图。关于行人，定义M个部位H0～HM－1。在本实施方式中，设为M＝N＝8。H0为膝盖，H1为膝盖上方，H2为大腿，H3为腰，H4为腹部，H5为胸，H6为肩，H7为脸。

针对自行车，也定义不同高度的多个部位B0～B7。关于汽车，定义不同高度的多个部位C0～C7。关于电线杆，也能够定义不同高度的多个部位P0～P7，但不论高度如何，其外形实质上不变，故不需要区别它们，因此，将其归结为一个输出P0。

图3的(a)～(d)是表示用三维传感器20拍摄行人、自行车、汽车、电线杆时的多个线数据的图。在图3中，多个线数据表示了预先定义的多个部位的形状。

返回图1。运算处理装置40针对每个线数据LD生成与对象OBJ的种类以及其部位相关的中间数据MD。中间数据MDi可以统计性地表示对应的线数据LDi(水平线Li)是哪个种类的哪个部位。

而且，运算处理装置40整合与多个线数据LD1～LDN对应的多个中间数据MD1～MDN，生成表示对象OBJ的种类的最终数据FD。最终数据FD也可以统计性地表示对象OBJ是哪一种类。

运算处理装置40功能上包括多个第一运算单元42_1～42_N以及第二运算单元44。运算单元42、44所示的块并不一定表示硬件上的独立。例如，在运算处理装置40由单核构成的情况下，多个运算单元42、44可以对应单一的核。在运算处理装置40包含多核的情况下，各核可以作为多个运算单元42、44发挥功能。

第i个(1≦i≦N)运算单元42_i处理对应的线数据LDi，生成中间数据MDi。第二运算单元44整合多个第一运算单元42_1～42_N生成的中间数据MD1～MDN，生成最终数据FD。

以上为对象识别系统10的基本构成。运算处理装置40的实现没有特别地限定，例如能够使用神经网络构成。下面，针对本发明者已进行验证的结构进行说明。将与第一运算单元42对应的神经网络称为第一神经网络NN1，将与第二运算单元44对应的神经网络称为第二神经网络NN2。

图4是表示第一神经网络NN1的构成例的框图。第一神经网络NN1由输入层50、三层的中间层(隐藏层)52、输出层54构成。输入层50的单元数量根据1行的采样点的个数确定，设为5200。中间层为三层，单元数设为200、100、50。在中间层52中，进行仿射变换和利用Sigmoid函数的变换。在输出层54，进行仿射变换和利用归一化指数函数(softmax函数)的所属概率的计算。

在输出层54中设定有与行人相关的部位H0～H7、与汽车相关的部位C0～C7、与自行车相关的部位B0～B7、与电线杆相关的部位P0、合计25个类别。中间数据MDi包括多个数据Human-0th～Human-7th、Car-0th～Car-7th、Bicycle--0th～Bicycle7th、Pole-all，表示分别符合与行人相关的部位H0～H7、与汽车相关的部位C0～C7、与自行车相关的部位B0～B7、与电线杆相关的部位P0的概率。

图5是表示第二神经网络NN2的构成例的框图。第二神经网络NN2由输入层60、1层的中间层62、输出层64构成。输入层60的单元数量设为前级的第一神经网络NN1的个数(N＝8)与其类别数量(25)的积200。中间层62为一层，单元数量设为50。输出层64中设定了行人(Human)、汽车(Car)、自行车(Bicycle)、电线杆(Pole)4个类别。即，最终数据FD包括表示对象OBJ分别符合行人、汽车、自行车、电线杆的可能性的四个数据Human、Car、Bicycle、Pole。

作为第一神经网络NN1、第二神经网络NN2共通的设定，参数更新法设为Adam，学习系数设为0.01，反复计算次数设为20000次。

作为第一神经网络NN1的预处理，优选进行提取、移位(shift)、标准化。

提取是除去背景，提取对象OBJ的处理。图6的(a)～(c)是说明对象的提取的图。图6的(a)是表示对象、即汽车的图。图6的(b)表示用LiDAR拍摄图6的(a)的对象时的、多个线数据LD1～LD8。图6的(c)表示以包含对象的方式提取的线数据LD1～LD8。

移位是数据移位以使对象位于中央的处理。标准化是将距离数据用规定值来除的处理。例如，规定值可以是学习时的、三维传感器20与对象OBJ的规定位置间的距离(基准距离)。由此，线数据被标准化为1附近的值。

接着，针对机器学习进行说明。图7的(a)～(c)是说明第一学习方法的图。如图7的(a)所示，测定首次学习中使用的数据(学习数据或指导数据)。学习数据通过用LiDAR测量多个对象而取得。具体而言，在不同的条件下(例如从多种距离、多种方向)测量要识别的对象的候选(行人、汽车、电线杆、骑自行车的人等)，准备学习用的帧数据FD1、FD2、…。各帧数据FDi(i＝1，2，···)包括N条(在此为8条)线数据，但在学习中，可以仅使用与对象相交的有效的线数据。例如在拍摄行人的帧数据FD1中，最下方的2条线数据LD11、FD12与地面相交而不与行人相交，因此可以在学习中不使用。

接着，以第一运算单元(第一神经网络)42为对象进行学习。如图7的(b)所示，多个帧数据所包含的多个有效的线数据LDij单独与指导数据TDij一起被输入第一运算单元42。例如输入帧FD1的线数据LD18时，给出表示种类(类别)＝“行人”、部位(子类别)＝“行人的脸”的指导数据TDij。

在所有的第一运算单元42中使用针对一个第一运算单元42所得到的学习结果。接着使第二运算单元44学习。具体而言，如图7的(b)所示，连接多个第一运算单元42和第二运算单元(第二神经网络)44。在该状态下，向运算处理装置40单独输入多个帧数据FD1、FD2···。针对各帧FDi每个，通过多个第一运算单元42生成多个中间数据MD1～MD8的组，被供给至后级的第二运算单元44。除中间数据MD1～MD6的组之外，还向第二运算单元44供给表示当前的帧数据FDi所包含的对象的种类的指导数据TDi。例如，在将拍摄行人的帧数据FDi输入运算处理装置40的情况下，向第二运算单元44提供表示种类＝“行人”的指导数据TDi。通过针对多个帧数据进行上述处理，进行第二运算单元44的学习。

针对用于研究具有以上结构的对象识别系统10的有效性而进行的实验进行说明。

用于验证的LiDAR的水平线的数量为8。水平线的照射角度(铅直方向角度分辨能力)从下开始为-18.25°、-15.42°、-12.49°、-9.46°、-6.36°、-3.19°、0°、3.2°。水平方向角度分辨能力设定为0.035度，拍摄范围设定为0～180°。因此线数据包括180/0.035＝5200个试样点的值。

图8的(a)、(b)是说明行人的拍摄的图。将LiDAR的中心到对象OBJ的距离(基准距离)设为3m。行人的试样为身高166cm的成年男性，从9个方向(0°、22.5°、45°、67.5°、90°、112.5°、135°、157.5°、0°、180°)拍摄。此外，将对象OBJ的正面(脸、前照灯)看得见的方向设为0°。关于行人，使LiDAR向铅直方向倾斜7°(仰角)，以使8条水平线与图2示出的8个部位H0～H7一致。

关于自行车，如图3的(b)所示拍摄了人跨坐静止的状态。将摄影方向设为与行人相同的9方向。

针对汽车，从3个方向(0°、90°、180°)拍摄一个车种类。电线杆以6根作为试样，从任意的方向进行拍摄。

作为训练数据，行人和自行车使用3600帧，汽车使用3000帧，电线杆使用1700帧进行机器学习。学习方法如参照图7的(a)～(c)的说明。

其后，关于行人和自行车，分别为以360帧作为测试数据，关于汽车、电线杆，分别以300帧作为测试数据，验证学习的结果。图9是表示第一神经网络NN1进行的25类别(子类别)的分类的正确率的图。最上级的Total表示作为测试数据输入的(360+360+300+300)帧×8条＝10560条线数据的总的正确率。其以外表示行人、汽车、自行车、电线杆的各部位的正确率。

图10是表示第二神经网络NN2进行的4类别的分类的正确率的图。最上级的Total表示作为测试数据输入的1320(＝360+360+300+300)帧整体的正确率。其以外表示行人(Human)、汽车(Car)、自行车(Bicycle)、电线杆(Pole)的正确率。

由图10可知，关于行人(Human)、汽车(Car)、电线杆(Pole)得到100％的正确率。仅关于自行车(Bicycle)，正确率变为97.8％，可知总的正确率受到针对自行车的错误的影响。

这样，根据实施方式的对象识别系统10，仅用条数为8条水平线，就能够以极高的概率判断对象的种类。

另外，由于水平线的数量少至8条，故能够降低运算处理装置40所被要求的处理能力。

在此，将对象与LiDAR的距离固定为3m进行了验证，但实际上距离是可变的。因此，将距离划分为多个档，针对每个档进行神经网络的学习即可。

图11是包括对象识别系统10的汽车的框图。汽车100包括前照灯102L、102R。对象识别系统10中，至少三维传感器20内置于前照灯102L、102R的至少一者中。前照灯102位于车体的最前端，在检测周围的对象方面，作为三维传感器20的设置位置是最有利的。关于运算处理装置40，可以内置于前照灯102中，也可以设置在车辆侧。例如运算处理装置40中，可以是：中间数据的生成在前照灯102的内部进行，最终数据的生成交给车辆侧。

图12是表示包括对象识别系统10的车辆用灯具200的框图。车辆用灯具200包括光源202、点灯电路204、光学系统206。并且在车辆用灯具200中设置有三维传感器20和运算处理装置40。运算处理装置40检测到的与对象OBJ相关的信息被发送给车辆ECU104。车辆ECU可以根据该信息，进行自动驾驶。

另外，运算处理装置40检测到的与对象OBJ相关的信息可以利用在车辆用灯具200的配光控制中。具体而言，灯具ECU208根据运算处理装置40生成的与对象OBJ的种类和其位置相关的信息，生成合适的配光图案。点灯电路204和光学系统206工作以得到灯具ECU208生成的配光图案。

(与学习方法相关的变形例)

在图7的(a)～(c)所示的第一学习方法中，存在强烈依赖于LiDAR的设置(高度、俯仰角、或者与对象的距离)而进行学习的情况。图13的(a)、(b)是表示LiDAR的高度和对象的关系的图。图13的(a)表示在学习时将LiDAR的设置高度设为145cm的情况。此时，下侧的三条线数据无效，使用从下方起的第4条～第8条的线数据LD4～LD8进行学习。

在实际使用时，如图13的(b)所示，将LiDAR的设置高度设为比学习时低的70cm。另外，将行人和LiDAR的距离设为比学习时近。在图13的(b)的状态下，线数据LD1～LD3没有符合的部位(无子类别)，线数据LD4～LD7为部位(子类别)＝脚，线数据LD8为部位(子类别)＝腹部。

图13的(c)表示通过由第一学习方法学习完成的对象识别系统10，以图13的(b)状况得到的最终数据。应被识别为行人，但被误识别为其他类别的概率更高的对象。推测这是因为在第一学习方法中，第二运算单元44的分类强烈依赖于子类别的排列顺序、组合。即在采用第一学习方法的情况下，实际使用阶段的三维传感器的高度可能受到在学习阶段使用的高度的制约。在第二学习方法中，在减少这样的制约上下工夫。

在第二学习方法中，第一运算单元42的学习与第一学习方法相同，第二运算单元44的学习方法不同。图14是说明第二学习方法中的第二运算单元44的学习工序的图。具体而言，在第二学习方法中，一边改变学习完成的多个第一运算单元42的输出和第二运算单元44的多个输入节点I1～I8的对应关系46，一边使第二运算单元44学习。对应关系46可以针对每个帧数据FDi随机地变化。

在学习时间有富余的情况下，针对一个帧数据FDi，可以以多个模式切换对应关系进行学习。N＝8时，输入输出的组合有8×7＝56种。因此，针对各帧数据，可以以所有的组合进行学习。

图15是说明第二学习方法的效果的图。图28表示使用通过第二学习方法学习完成的对象识别系统10，在图13的(b)状况下假设行人时的最终数据FD。与第一学习方法的结果得到的图13的(c)的最终数据相比，能够提高识别为行人的概率。

这样，在第二运算单元44的学习工序中，通过改变多个第一运算单元42和第二运算单元44的多个输入的对应关系，能够提高LiDAR等的三维传感器的设置的自由度。

图16是变形例的对象识别系统10A的框图。在该变形例中，第一运算单元42A作为卷积神经网络来实现。一般而言，卷积神经网络将M×N像素的二维图像作为对象，但在本实施方式中，新颖之处在于：将一维的线数据作为对象来使用它。卷积神经网络是卷积层和池化层的组合。通过使用卷积神经网络，能够提高相对于对象的横方向的位置偏移的鲁棒性。

(第二实施方式)

上面的变形例是通过研究学习方法，实现识别能力的改善的。在第二实施方式中，通过研究运算处理装置的构成，实现识别能力的改善。

图17是第二实施方式的对象识别系统10B的框图。对象识别系统10B包括三维传感器20和运算处理装置70。运算处理装置70包括多个第一神经网络72_1～72_N、结合处理部74、第二神经网络76。

第一神经网络72_1～72_N具有与在第一实施方式中说明的第一运算单元42(第一神经网络NN1)相同的功能。即，各第一神经网络72_i(i＝1、2…N)生成与多个线数据LD1～LDN的对应的一个LDi相关的第一中间数据MD1_i。第一中间数据MD1_i表示对应的线数据LDi符合多个种类(类别)的多个部位(子类别)的各者的概率。

结合处理部74接收与多个线数据LD1～LDN对应的多个第一中间数据MD1_1～MD1_N，将它们结合，生成至少一个第二中间数据MD2。在图17的实施例中，第二中间数据MD2为一个。即，可将所有的第一中间数据MD1_1～MD1_N与一个第二中间数据MD2结合。与第一中间数据MD1同样地，第二中间数据MD2表示对应的线数据LDi符合多个种类(类别)的多个部位(子类别)各者的概率。

图18是示出结合处理部74的处理的一个示例的图。第i个第一中间数据MD1_i包括K个要素a1i～aKi。第j个(j＝1、2…、K)要素aji表示第i个线数据LDi符合第j个子类别(部位)的概率。结合处理部74将多个第一中间数据MD1_1～MD1_N的平均值作为第二中间数据MD2。第二中间数据MD2的第j个要素bj通过以下的算式给出。

bj＝Σi＝1：Naji/N

返回图17。第二神经网络76接收第二中间数据MD2，生成表示对象OBJ符合多个种类(类别)各者的概率的最终数据FD。第二神经网络76可以与图5的神经网络同样地构成。

对象识别系统10B使用上述第一学习方法进行学习。即利用测定了多个种类的多个部位各者的多个线数据，使第一神经网络72学习。将共同的学习结果适用于所有第一神经网络72_1～72_N。

并且，在将学习完成的多个第一神经网络72_1～72_N的输出经由结合处理部74与第二神经网络76结合的状态下，使第二神经网络76学习。

以上为对象识别系统10B的构成。接着，说明其优点。

图19是示出通过第二实施方式的对象识别系统，在图13的(b)的状况下得到的最终数据的图。根据第二实施方式，相比于通过第一实施方式和第一学习方法的组合得到的图13的(c)的最终数据，可以提高识别为行人的概率。

接着，说明与第二实施方式相关联的变形例。

(变形例1)

在图18中，在结合处理部74中取了简单平均值，但也可以取加权平均值。ci是各个高度(线)的加权的系数。

bj＝Σi＝1：Najici/N

或者在结合处理部74中，可以取总和。

bj＝Σi＝1：Naji

或者在结合处理部74中，可以取最大值。

bj＝max(aj1，ai2，…aiK)

(变形例2)

在图17中，将第二中间数据MD2设为1个，但也可以设为多个。例如可以将N个第一中间数据MD1_1～MD1_N结合于两个第二中间数据MD2_1、MD2_2。在该情况下，例如，可以将多个第一中间数据MD1_1～MD1_N分为两个组，由一个组生成第二中间数据MD2_1，由另一个组生成第二中间数据MD2_2。

(变形例3)

图20是变形例3的对象识别系统10C的框图。该变形例对图17的对象识别系统10B应用卷积神经网络。通过卷积神经网络的应用，能够提高相对于对象的横方向的位置偏移的鲁棒性。

(其他变形例)

将多个线数据的数量N设为8，但也可以考虑运算处理装置40的运算能力和所要求的对象OBJ的识别能力，设为N＝4～12左右。

在一实施方式中，对于对象，可以按其所朝向的各方向而分别定义成不同的种类(类别)。也就是说，将某对象正对本车辆时和不是正对时，识别为不同的种类。这是因为有助于对象OBJ的移动方向的推定。

运算处理装置40也可以使用FPGA等，仅由硬件构成。

在实施方式中，说明了车载用的对象识别系统10，但本发明的应用并不限定于此，例如被固定地设置在信号机、交通标识或其他交通基础设施中，还能够应用在定点观测的用途中。

基于实施方式，利用具体的语言说明了本发明，但实施方式仅表示本发明的原理、应用的一个侧面，在实施方式中，在不脱离权利要求的范围所规定的本发明的思想的范围内，允许多个变形例或配置的变更。

[工业上的可利用性]

本发明涉及对象识别系统。

[附图标记说明]

10 对象识别系统

20 三维传感器

40 运算处理装置

42 第一运算单元

44 第二运算单元

NN1 第一神经网络

NN2 第二神经网络

70 运算处理装置

72 第一神经网络

74 结合处理部

76 第二神经网络

50 输入层

52 中间层

54 输出层

60 输入层

62 中间层

64 输出层

100 汽车

102 前照灯

104 车辆ECU

200 车辆用灯具

202 光源

204 点灯电路

206 光学系统

208 灯具ECU

Claims (11)

1.一种对象识别系统，其特征在于，包括：

三维传感器，针对高度不同的多个水平线，生成多个线数据，以及

运算处理装置，根据所述多个线数据识别对象的种类；

所述运算处理装置包括：

多个第一神经网络，分别生成与所述多个线数据的对应的一个相关的第一中间数据，所述第一中间数据表示对应的线数据符合多个种类的多个部位各者的概率，

结合处理部，接收与所述多个线数据对应的多个第一中间数据，结合所述多个第一中间数据，生成至少一个第二中间数据，以及

第二神经网络，接收所述至少一个第二中间数据，生成表示所述对象符合所述多个种类各者的概率的最终数据。

2.根据权利要求1所述的对象识别系统，其特征在于，

所述至少一个第二中间数据为一个，根据所述多个第一中间数据的全部得到所述第二中间数据。

3.根据权利要求1所述的对象识别系统，其特征在于，

所述至少一个第二中间数据为多个，根据所述多个第一中间数据中连续的几个得到各第二中间数据。

4.根据权利要求2或3所述的对象识别系统，其特征在于，

所述至少一个第二中间数据分别是对应的几个第一中间数据的平均值或总和。

5.根据权利要求1至4中任一项所述的对象识别系统，其特征在于，执行：

利用测定了多个种类的多个部位各者的多个线数据，使所述第一神经网络学习的步骤；以及

在将学习完成的所述多个第一神经网络的输出经由所述结合处理部与所述第二神经网络结合的状下，使所述第二神经网络学习的步骤。

6.根据权利要求1至5中任一项所述的对象识别系统，其特征在于，

所述对象的种类至少包括行人、骑自行车的人、汽车。

7.一种汽车，其特征在于，

包括权利要求1至6中任一项所述的对象识别系统。

8.根据权利要求7所述的汽车，其特征在于，

所述三维传感器内置于前照灯中。

9.一种车辆用灯具，其特征在于，

包括权利要求1至6中任一项所述的对象识别系统。

10.一种方法，为根据从三维传感器得到的多个线数据识别对象的种类的方法，其特征在于，包括：

对各个所述线数据，生成表示符合多个种类的多个部位各者的概率的第一中间数据的步骤；

结合针对所述多个线数据所得到的多个第一中间数据，生成至少一个第二中间数据的步骤；以及

根据所述至少一个第二中间数据，生成表示所述对象符合所述多个种类各者的概率的最终数据的步骤。

11.一种方法，为根据从三维传感器得到的多个线数据识别对象的种类的运算处理装置的学习方法，其特征在于，

所述运算处理装置包括：

多个第一神经网络，分别生成与所述多个线数据的对应的一个相关的第一中间数据，所述第一中间数据表示对应的线数据符合多个种类的多个部位各者的概率，

结合处理部，接收与所述多个线数据对应的多个第一中间数据，结合所述多个第一中间数据，生成至少一个第二中间数据，以及

第二神经网络，接收所述至少一个第二中间数据，生成表示所述对象符合所述多个种类各者的概率的最终数据；

所述学习方法包括：

利用测定了多个种类的多个部位各者的多个线数据，使所述第一神经网络学习的步骤；以及

在将学习完成的所述多个第一神经网络的输出经由所述结合处理部与所述第二神经网络结合的状下，使所述第二神经网络学习的步骤。

Images