CN116348937A

CN116348937A - 物体识别装置

Info

Publication number: CN116348937A
Application number: CN202180067146.6A
Authority: CN
Inventors: 远藤健; 永崎健; 的野春树; 小林正幸
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2020-10-14
Filing date: 2021-09-10
Publication date: 2023-06-27
Also published as: JP7499140B2; DE112021004200T5; WO2022080049A1; JP2022064388A

Abstract

本发明的目的在于，提供一种高精度地对跨越视野重叠区域和视野非重叠区域而被拍摄到的物体进行识别的物体识别装置。本发明的物体识别装置包括：三维信息取得部(102)，其从第一传感器(100)与第二传感器(101)的视野重叠区域取得三维信息；纹理信息取得部(103)，其取得第一传感器和第二传感器的视野重叠区域以及视野非重叠区域的纹理信息；物体检测部(104)，其基于三维信息取得部和纹理信息取得部取得的信息，检测被视野重叠区域与视野非重叠区域拍摄到的物体；第一置信度计算部(106)，其基于视野重叠区域的三维信息计算物体的识别结果的置信度；第二置信度计算部(107)，其基于视野重叠区域和视野非重叠区域的纹理信息计算物体的识别结果的置信度；和物体类别确定部(108)，其基于置信度确定物体的类别。

Description

物体识别装置

技术领域

本发明涉及物体识别装置。

背景技术

为了实现自动驾驶和防止交通事故，人们对广角传感区域中的立体物的识别技术寄予期待。为了实现广角的传感感测，专利文献1公开了一种立体摄像机中的物体的识别方法，其中，该立体摄像机具有视野重叠的立体区域和视野不重叠的单眼区域。在专利文献1中，假定物体从单眼区域移动至立体区域，判断单眼区域中检测出的物体在下一帧是否进入立体区域，在判断为进入的情况下，在下一帧以后基于视差的信息判断物体的类别。

现有技术文献

专利文献

专利文献1：日本特开2014-67198号公报

发明内容

发明要解决的技术问题

因此，在物体以跨越立体区域和单眼区域的形式被拍摄的情况下，专利文献1基于立体区域的视差的信息来识别物体。但是，在物体进入到立体区域的帧中，立体区域中拍摄到的物体区域仅为一部分，所以只能基于局部的信息判断类别，稳定的识别成为要解决的问题。

本发明鉴于这样的问题，其目的在于提供一种高精度地对跨越视野重叠区域和视野非重叠区域而被拍摄到的物体进行识别的物体识别装置。

解决问题的技术手段

解决上述问题的本发明的物体识别装置的特征在于，包括：三维信息取得部，其从第一传感器与第二传感器的视野重叠区域取得三维信息；纹理信息取得部，其取得所述第一传感器和所述第二传感器的所述视野重叠区域以及视野非重叠区域的纹理信息；物体检测部，其基于由所述三维信息取得部和所述纹理信息取得部取得的信息，检测被所述视野重叠区域与所述视野非重叠区域拍摄到的物体；置信度计算部，其具有第一置信度计算部和第二置信度计算部，所述第一置信度计算部基于所述视野重叠区域的所述三维信息计算作为物体的识别结果的第一置信度，所述第二置信度计算部基于所述视野重叠区域和所述视野非重叠区域的纹理信息计算作为物体的识别结果的第二置信度；和物体类别确定部，其基于由所述置信度计算部计算出的置信度来确定物体的类别。

发明效果

根据本发明，能够高精度地识别跨越视野重叠区域和视野非重叠区域而被拍摄到的物体。与本发明相关的其他特征将通过本说明书的记载和附图来说明。另外，上述以外的技术问题、技术特征和技术效果将通过以下实施方式的说明而明确。

附图说明

图1是表示本发明的第一实施方式的物体识别装置的结构的功能框图。

图2用于说明图1公开的实施方式中的物体识别装置的动作例1，其是表示识别对象的位置关系的图。

图3是表示图1公开的实施方式中的物体识别装置的动作例1的流程图。

图4是图1公开的实施方式中的物体识别装置的关于立体物检测的流程图。

图5是图1公开的实施方式中的物体识别装置对于识别评分的权重计算的流程图。

图6是图1公开的实施方式中的物体识别装置的关于车辆控制的流程图。

图7是图1公开的实施方式中的物体识别装置的基于卷积神经网络的权重计算的概念图。

图8是图1公开的实施方式中的物体识别装置的视差的翻折处理的概念图。

图9是图1公开的实施方式中的物体识别装置的物体检测方法的流程图。

图10是图1公开的实施方式中的物体识别装置的关于三维位置的计算方法的流程图。

具体实施方式

以下对本发明的实施方式详细进行说明。

(实施例1)

图1是表示实施例1的物体识别装置1的结构的功能框图。

本实施方式的物体识别装置1例如搭载在本车的车辆中，进行识别并辨识位于本车前方的物体的处理。物体识别装置1由摄像机、计算机、存储器(内存)和存储装置等构成，计算机通过执行保存在存储器(内存)等中的控制程序而作为各种功能部进行动作。

如图1所示，在物体识别装置1中，作为通过摄像机和计算机的动作实现的功能部，具有第一传感器100、第二传感器101、三维信息取得部102、纹理信息取得部103、物体检测部104、由第一置信度计算部106和第二置信度计算部107构成的置信度计算部105、物体类别确定部108和车辆控制部109。

第一传感器100和第二传感器101由能够取得图像的摄像机、能够取得三维信息的毫米波雷达、Lidar等构成。第一传感器100和第二传感器101具有能够取得纹理(亮度)的信息和三维信息的结构。例如是由2台摄像机的组合形成的结构(所谓立体摄像机)、由摄像机与毫米波雷达的组合形成的结构。第一传感器100和第二传感器101具有彼此共享视野的视野重叠区域和视野不重叠的视野非重叠区域。另外，本发明中的视野不限定于图像的视野，是表示传感器的检测范围的广义的概念。

三维信息取得部102基于第一传感器100和第二传感器101的至少一方的信息取得三维信息。具体而言，在第一传感器100和第二传感器101由2台摄像机构成的情况下，通过基于各摄像机的位置关系和摄像机的内部参数实施三角测量来取得三维信息。另外，在第一传感器100是毫米波雷达、第二传感器101是摄像机的情况下，取得毫米波雷达的测定结果作为三维信息。

纹理信息取得部103取得第一传感器100和第二传感器101的至少一方的信息作为物体的纹理信息。在第一传感器100和第二传感器101由2台摄像机构成的情况下，由第一传感器100和第二传感器101取得的图像信息是纹理信息。另外，在第一传感器100是毫米波雷达、第二传感器101是摄像机的情况下，由第二传感器101取得的图像信息是纹理信息。

物体检测部104基于由三维信息取得部102和纹理信息取得部103取得的信息来检测物体。作为物体的检测方法，可以在基于三维信息实施检测处理之后，基于纹理信息对检测位置进行扩展，也可以在基于纹理信息检测物体之后，基于三维信息修正检测位置。作为基于三维信息的物体检测方法，有三维信息的聚类方法。在第一传感器和第二传感器是摄像机的情况下，可以将三维信息投影成二维的图像信息，生成距离图像或视差图像，实施对距离或视差的聚类处理来由此检测物体。作为基于纹理信息的物体检测方法，有使用统计性的机器学习的方法。另外，也可以事先计算与要识别的物体对应的模板图像，通过模板匹配来检测物体。

置信度计算部105包括基于三维信息计算物体的识别评分(识别结果)的第一置信度计算部106，和基于纹理信息计算物体的识别评分(识别结果)的第二置信度计算部107。第一置信度计算部106基于物体检测部104检测出的区域的三维信息计算第一置信度，实施基于第一置信度的物体的识别处理。在基于三维信息的识别处理中，能够使用以毫米波雷达的输出距离、Lidar的点群信息、立体摄像机的距离信息等作为输入的机器学习。除此以外，也可以通过将取得的三维信息叠加在二维图像上生成距离图像、视差图像，基于生成的距离图像、视差图像实施识别处理。第二置信度计算部107基于物体检测部104检测出的区域的纹理信息计算第二置信度，实施基于第二置信度的物体的识别处理。物体的识别处理可以是使用特定模板进行的模板匹配，也可以通过统计性的机器学习实施物体的识别。

物体类别确定部108基于置信度计算部105计算出的置信度来确定物体的物体类别。具体而言，对第一置信度计算部106和第二置信度计算部107计算出的置信度即识别评分进行整合，输出整合得到的识别评分最大的类别和该类别的评分。

车辆控制部109根据识别出的物体的三维位置判断与物体间的碰撞风险，判断为存在碰撞的可能性的情况下实施车辆控制。另外，能够根据物体类别确定部108输出的评分相应地选择要实施的车辆控制方法。

(动作例1)

接着，参照图3的流程图，对图2所示的场景下的本实施方式的物体识别装置1的动作例详细进行说明。以后的动作例中，物体识别装置1假定以监视车辆前方的形式设置。另外，假定第一传感器100和第二传感器101双方都是摄像机进行说明。

图2是车辆V100在与本车邻接的超车道上行驶的场景。本车正在左侧的车道上行驶，车辆V100正在本车前方在右侧的车道上向与本车相同的方向行驶。F101表示2台摄像机的视野重叠区域，是不仅能够取得纹理信息也能够取得三维信息的区域。另外，F100和F102表示2台摄像机的视野非重叠区域，是仅能够取得纹理信息的区域。R100表示车辆V100中被视野重叠区域F101拍摄到的能够取得三维信息的区域，R101是跨越视野重叠区域F101和视野非重叠区域F102而被拍摄到的车辆V100的全体区域，是能够取得纹理信息的区域。

动作例1的物体识别装置1依次实施纹理取得处理(P101)、视差计算处理(P102)、立体物检测处理(P103)、视差评分计算处理(P104)、纹理评分计算处理(P105)、权重计算处理(P106)、类别判断处理(P107)和车辆控制处理(P108)，实施针对车辆V100的本车的车辆控制。

在纹理取得处理(P101)中，取得由2台摄像机拍摄的图2中的F100、F101和F102的区域中的图像的纹理信息。

在视差计算处理(P102)中，实施针对2台摄像机的对应点搜索，计算第一摄像机和第二摄像机的图像上的偏移量即视差。此处，实施视差的有效/无效判断。在实施对应点搜索时，将匹配评分为阈值以上的视差判断为有效，将匹配评分为规定值以下的视差判断为无效。另外，还基于计算出的视差的信息、摄像机的位置/姿势、摄像机的内部参数的信息测定从摄像机起的距离。

在立体物检测处理(P103)中，进行基于视差信息的物体的初始检测，之后，基于纹理信息实施检测框的扩展来确定图像上的物体的区域。图4表示立体物检测处理(P103)的处理流程。

在立体物检测处理(P103)中，首先实施视差分组处理(P201)(第一检测处理)。在视差分组处理中，通过将视差图像上的同一视差聚类来确定图2的F101所示的视野重叠区域中的物体区域R100。接着，实施立体物过滤处理(P202)(第二检测处理)。在立体物过滤处理(P202)中，仅提取在图2的F101所示的视野重叠区域的边界周边检测出的物体。由此，仅提取出跨越视野重叠区域和视野非重叠区域而被拍摄的可能性高的物体。在成功提取出物体(符合条件)的情况下，对提取出的物体实施处理区域扩展处理(P203)。在处理区域扩展处理(P203)中，基于在视野重叠区域F101中检测出的物体区域R100，来设定包含跨越视野重叠区域F101和视野非重叠区域F102而被拍摄的车辆V100的区域R103。区域R103的设定方法是，测定到物体的距离，按照距离和摄像机参数来设定处理区域。在物体重检测(重新检测)处理(P204)中，通过分析区域R103的纹理信息来检测物体。作为检测的方法使用卷积神经网络。卷积神经网络输出物体的左上的图像位置和右下的图像位置。能够利用卷积神经网络的输出，来确定跨越视野重叠区域F101和视野非重叠区域F102而被拍摄的车辆V100的区域R101。

在视差评分计算处理(P104)中，基于立体物检测处理(P103)检测出的物体区域R100的视差信息实施物体的识别处理。在物体的识别中使用卷积神经网络，输出识别评分Score_D。

在纹理评分计算处理(P105)中，基于立体物检测处理(P103)检测出的R101的纹理信息实施物体的识别处理。在物体的识别中使用卷积神经网络，输出识别评分Score_T。

在权重计算处理(P106)中，计算将视差评分计算处理(P104)计算出的识别评分Score_D与纹理评分计算处理(P105)计算出的识别评分Score_T整合时的权重。图5表示权重计算处理(P106)的处理流程。在视差取得面积与密度计算处理(P301)中，计算作为处理区域的物体区域R100的面积即像素数Area_D。另外，计算Area_D中的在视差计算时判断为有效的像素数Area_V。按照Area_V/Area_D(像素数Area_V除以像素数Area_D)计算视差密度Density_D。在纹理取得面积计算处理(P302)中，计算区域R101的像素数Area_T。之后，实施视差与纹理权重计算处理(P303)。在视差与纹理权重计算处理(P303)中，求出针对Score_D的权重Weight_D和针对Score_T的权重Weight_T。Weight_D和Weight_T按下式计算。

Weight_D＝(Area_D)/(Area_D+Area_T)*Density_D……(1)

Weight_T＝(Area_T)/(Area_D+Area_T)……(2)

在类别判断处理(P107)中，基于视差评分计算处理(P104)计算出的识别评分Score_D、纹理评分计算处理(P105)计算出的识别评分Score_T以及权重计算处理(P106)计算出的权重Weight_D、Weight_T，计算物体的识别评分Total_Score，确定物体的类别。物体的识别评分Total_Score用下式计算。

Total_Score＝Score_D*Weight_D+Score_T*Weight_T……(3)

按式(3)计算Total_Score，并与规定阈值进行比较，在阈值以上的情况下，判断为是作为识别对象的物体。

在车辆控制处理(P108)中，基于到物体的距离信息判断与物体碰撞的可能性，在判断为存在碰撞的可能性的情况下实施车辆控制。图6记载了车辆控制处理(P108)的处理流程。在三维位置测量处理(P401)中，基于视差计算处理(P102)计算出的距离信息和立体物检测处理(P103)的检测结果，来测定物体的三维位置。具体而言，通过取得检测出的物体区域R100的距离信息的中值来计算到物体的距离。另外，基于计算出的到物体的距离和图像上的横向位置、纵向位置来计算物体的三维位置。在车辆控制内容决定处理(P402)中，基于类别判断处理(P107)中的识别评分Total_Score决定要对车辆实施怎样的车辆控制。在车辆控制内容决定处理(P402)中，基于刹车实施阈值Brake_Thre和警报实施阈值Warning_Thre这2个阈值决定车辆控制内容。刹车实施阈值Brake_Thre和警报实施阈值Warning_Thre满足Brake_Thre＞Warning_Thre的关系，在Total_Score＞Brake_Thre的情况下选择刹车控制作为控制内容。另一方面，在Brake_Thre＞Total_Score＞Warning_Thre的情况下，选择警报控制作为控制内容。另外，在Warning_Thre＞Total_Score的情况下，判断为不实施车辆控制，结束车辆控制处理(P108)。在车辆控制内容决定处理(P402)选择了刹车控制或警报控制的情况下，执行车辆控制实施判断处理(P403)。在车辆控制实施判断处理(P403)中，基于过去帧和本次帧中的物体的三维位置信息判断与物体碰撞的可能性。具体而言，根据过去帧和本次帧的三维位置信息，对物体的移动轨迹实施曲线拟合处理。同样，根据当前的车速传感器、横摆角传感器推算本车将来的移动轨迹。在通过曲线拟合求出的曲线与本车的移动轨迹相交的时刻相等的情况下，判断为存在碰撞的可能性。在判断为要碰撞的情况下，实施车辆控制内容决定处理(P402)中决定的车辆控制内容。

通过以上所述，本实施方式的物体识别装置1对于跨越视野重叠区域和视野非重叠区域而被拍摄到的物体，将从视野重叠区域取得的有限的视差信息与从视野重叠区域和视野非重叠区域取得的大范围的纹理信息组合而实施识别处理，由此能够更稳定地识别物体。

另外，在立体物检测处理中，先基于视差信息实施物体的检测之后分析纹理信息来检测物体。由此，能够限定要实施通常而言处理负荷高的纹理分析的区域，能够减小处理负荷。

另外，将基于视差得到的识别评分和基于纹理得到的识别评分整合时，按照取得视差的面积和取得纹理的面积来相应地实施加权。由此，对于取得视差的面积与取得纹理的面积大为不同、识别评分自身的置信度不同的情况，能够更稳定地进行物体识别。另外，在计算视差的权重时不仅考虑面积还考虑视差的密度，由此对于因夜间和雨天等导致有效视差在每帧中不同的情况，也能够自适应地调整与视差的识别评分对应的权重。由此，在夜间和雨天等也能够高精度地识别物体。

另外，在实施车辆控制时按照物体的识别评分来相应地改变车辆控制内容。由此，能够防止在识别的置信度较低的情况下错误地执行刹车控制。

(动作例2)

接着对物体识别装置1的第二个动作例进行说明。动作例2的处理流程与图3所示的动作例1的处理流程相同，但权重计算处理(P106)中实施的处理内容不同。因此，下面仅对动作例2中的权重计算处理(P106)进行说明。

在动作例2的权重计算处理(P106)中，通过统计性的机器学习来计算视差评分和纹理评分的权重。图7表示权重计算处理(P106)的概念图。图7中I101是纹理评分计算处理(P105)中使用的纹理图像(亮度图像)，I102表示视差评分计算处理(P104)中使用的视差图像。在权重计算处理(P106)中，将I101中使用的纹理信息和I102中使用的视差信息作为卷积神经网络的输入，来输出权重Weight_D和Weight_T。权重计算处理(P106)使用的卷积神经网络如图7所示地进行学习(训练)。在学习中，作为输入不仅使用亮度图像I101和视差图像I102所示的纹理信息和视差信息，还使用基于纹理得到的识别评分Score_T和基于视差得到的识别评分Score_D。将亮度图像I101和视差图像I102输入至卷积神经网络，输出Weight_T和Weight_D，按照Score_T、Score_D和式(3)计算整合评分。以使得计算出的整合评分的误识别率变得最小的方式实施学习。

动作例2能够分析纹理信息和视差信息，基于分析的结果自适应地输出权重。特别是，通过实施考虑了输入信息与识别评分之间的关系的学习，能够对于识别处理所不擅长的模式等减弱权重，对于识别处理所擅长的模式增强权重，能够更高精度地识别物体。

(动作例3)

接着对物体识别装置1的第三个动作例进行说明。动作例3的处理流程与图3所示的动作例1的处理流程相同，但视差评分计算处理(P104)和权重计算处理(P106)中实施的处理内容不同。因此，下面仅对动作例3中的视差评分计算处理(P104)和权重计算处理(P106)进行说明。

在视差评分计算处理(P104)中，将视野重叠区域中取得的视差信息扩展至视野非重叠区域。图8表示视差评分计算处理(P104)的概念图。图8中，R200表示已计算出视差的视野重叠区域。R202表示立体物检测处理(P103)中检测出的视野非重叠区域的区域。在视差评分计算处理(P104)中，首先推算立体物检测处理(P103)中检测出的区域的横向中心位置R203。然后，以横向中心位置R203为基准，将视野重叠区域R200所示的视差翻折。即，使视野重叠区域R200所示的视差图像以横向中心位置R203为轴向右侧翻转，进行将视差图像扩展至视野非重叠区域R202的处理。然后，计算视野非重叠区域的区域R202中的视差信息。在视差评分计算处理(P104)中，基于从视野重叠区域和视野非重叠区域取得的视差信息R204实施识别处理。

在权重计算处理(P106)中，基于从视野重叠区域和视野非重叠区域取得的视差信息R204计算权重Weight_D。取得视差的面积Area_D是R204的像素数。另外，密度计算中使用的Area_V是通过将视差的有效/无效信息也翻折而计算的。基于计算出的Area_D和Area_V计算Weight_D。

动作例3假定存在物体的左右对称性，实施以物体的中心位置为基准的视差的翻折处理。由此，能够灵活利用视野重叠区域的信息，来取得视野非重叠区域中通常无法计算的视差信息。由此，能够基于更大范围的视差信息实施识别处理，能够提高识别性能。

(动作例4)

接着对物体识别装置1的第四个动作例进行说明。动作例4的处理流程与图3所示的动作例1的处理流程相同，但立体物检测处理(P103)中实施的处理内容不同。因此，下面仅对动作例4中的立体物检测处理(P103)进行说明。

图9表示动作例4中的立体物检测处理(P103)的处理流程。在立体物检测处理(P103)中，首先实施基于纹理信息的物体的检测处理，通过分析检测出物体的区域中的视差信息来对检测框进行修正。在纹理分析处理(P501)中，利用以纹理信息作为输入的卷积神经网络来检测物体。对检测出的区域实施物体过滤处理(P502)。在物体过滤处理(P502)中，判断检测出的物体是否包含在视野重叠区域中。在判断为包含(符合条件)的情况下实施视差分析处理(P503)，不包含(不符合条件)的情况下结束立体物检测处理(P103)。在视差分析处理(P503)中，分析视差图像，对纹理分析处理(P501)中检测出的区域进行修正。视差图像的分析是使用视差的变化量进行的。对邻接的像素的视差值相差一定以上的像素作标记。例如，对图像横向地扫描，对与邻接的像素间的距离差为阈值以上的像素上色(标记)，由此沿着立体物与背景的边界画线。对该标记了的像素实施直线拟合处理，将求出的直线判断为物体的端部，对纹理分析处理(P501)的检测结果进行修正。通过该修正，能够使检测框接近物体的端部。

动作例4对于通过纹理分析处理检测出的物体区域，通过分析视差来进行修正。立体物与背景间的距离差通常较大。因此，通过基于视差来修正物体的边界能够更准确地检测物体区域。

(动作例5)

接着对物体识别装置1的第五个动作例进行说明。动作例5的处理流程与图3所示的动作例1的处理流程相同，但车辆控制处理(P108)中实施的处理内容不同。因此，下面仅对动作例5中的车辆控制处理(P108)进行说明。

车辆控制处理(P108)在动作例1与动作例5的差异是物体的三维位置的测量方法。图10表示动作例5中的物体的三维位置的测定方法。在视差取得面积与密度计算处理(P601)中，计算取得视差的面积Area_D和取得的区域中的视差密度Density_D(密度信息)。接着，在纹理取得面积计算处理(P602)中计算取得纹理的面积Area_T。在距离测定方法决定处理(P603)中，进行基于第一置信度计算部106中使用的三维信息的取得区域信息或密度信息和第二置信度计算部107中使用的纹理信息的取得区域信息，来改变物体的三维位置的决定方法的处理。具体而言，在距离测定方法决定处理(P603)中，基于取得视差的面积Area_D、视差密度Density_D、取得纹理的面积Area_T，用下式进行计算。

Area_D*Density_D＜α*(Area_T)……(4)

此处，α是调整纹理和视差的置信度的参数，通过实验决定适当的值。在满足式(4)的条件的情况下，用基于纹理的测距方式测量物体的三维位置。即，在得到的视差图像的范围比规定值更小的情况下选择基于纹理的测距方式。另一方面，在不满足式(4)的条件的情况下，用基于视差的测距方式测量物体的三维位置。即，在得到的视差图像的范围大至规定值以上的情况下，选择基于视差的测距方式。在基于视差的测距方式中，基于视野重叠区域的视差信息来测量物体的三维位置。通过取得检测出的物体区域的视差信息的中值，来计算到物体的距离。然后，基于计算出的到物体的距离和图像上的横向位置和纵向位置来计算物体的三维位置。在基于纹理的测距方式中，基于视野非重叠区域的物体的检测位置信息来测定物体的距离。在路面推算处理(P605)中，分析视野重叠区域中的视差信息，对图像上的各纵向位置取得路面的距离信息。在触地位置确定处理(P606)中，将视野重叠区域中的物体的下端位置判断为触地位置。然后，基于路面推算处理(P605)中推算出的路面的距离信息和物体的触地位置的信息来推算物体的距离信息。基于推算出的距离信息取得物体的三维位置。

在动作例5中，根据能够取得的视差数和纹理数，相应地自适应地切换物体的距离计算方法。在能够从物体取得的视差的数量非常有限、不能利用视差准确地计算物体的距离的情况下，通过进行基于纹理信息的距离计算，能够准确地计算物体的三维位置。

另外，也能够将上述式(4)变更为下式(5)的条件。

Score_D＜β*(Score_T)……(5)

此处，β是调整纹理和视差的置信度的参数，通过实验决定适当的值。基于式(5)，能够根据识别评分来相应地切换测距方式。当基于视差的识别评分较低时，能够判断为视差自身的置信度较低。因此，能够减小因错误的视差信息导致的距离推算的误差。

另外，也能够不按式(4)和式(5)而是按下式改变距离的测定方法。

Density_D≤0……(6)

上述式(6)中，在Density_D的值大于0的情况即有效的视差值为1个以上的情况下，基于视野重叠区域的视差信息实施距离推算。由此，在视野非重叠区域中因其他物体遮挡而不能确定触地位置的情况下，也能够通过使用视野重叠区域的视差信息来测定物体的三维位置。

以上参照实施例1说明了本申请发明，但本申请发明并不限定于上述实施方式。

对于本申请发明的结构和详情，能够在本申请发明的范围内施加当事人可以理解的各种变更。

以上对本发明的实施方式进行了详细叙述，但本发明并不限定于上述实施方式，能够在不脱离要求保护的技术方案所述的本发明的精神的范围内，进行各种设计变更。例如，上述实施方式中为了易于理解地说明本发明而详细进行了说明，但并不限定于必须具备所说明的全部结构。另外，能够将某个实施方式的结构的一部分置换为其他实施方式的结构，也能够在某个实施方式的结构上添加其他实施方式的结构。进而，对于各实施方式的结构的一部分，能够追加、删除、置换其他结构。

附图标记说明

100 第一传感器

101 第二传感器

102 三维信息取得部

103 纹理信息取得部

104 物体检测部

105 置信度计算部

106 第一置信度计算部

107 第二置信度计算部

108 物体类别确定部

109车辆控制部(车辆控制装置)

Claims

1.一种物体识别装置，其特征在于，包括：

三维信息取得部，其从第一传感器与第二传感器的视野重叠区域取得三维信息；

纹理信息取得部，其取得所述第一传感器和所述第二传感器的所述视野重叠区域以及视野非重叠区域的纹理信息；

物体检测部，其基于由所述三维信息取得部和所述纹理信息取得部取得的信息，检测被所述视野重叠区域与所述视野非重叠区域拍摄到的物体；

置信度计算部，其具有第一置信度计算部和第二置信度计算部，所述第一置信度计算部基于所述视野重叠区域的所述三维信息计算作为物体的识别结果的第一置信度，所述第二置信度计算部基于所述视野重叠区域和所述视野非重叠区域的纹理信息计算作为物体的识别结果的第二置信度；和

物体类别确定部，其基于由所述置信度计算部计算出的置信度来确定物体的类别。

2.如权利要求1所述的物体识别装置，其特征在于：

在所述物体类别确定部中，推算针对由所述置信度计算部计算出的置信度的权重，基于推算出的所述权重将由所述第一置信度计算部和所述第二置信度计算部计算出的所述第一置信度和所述第二置信度整合，由此确定物体的类别。

3.如权利要求2所述的物体识别装置，其特征在于：

所述物体类别确定部根据所述第一置信度计算部中使用的三维信息的取得区域信息或密度信息以及所述第二置信度计算部中使用的纹理信息的取得区域信息，来推算所述权重。

4.如权利要求2所述的物体识别装置，其特征在于：

所述物体类别确定部利用以所述第一置信度计算部中使用的三维信息和所述第二置信度计算部中使用的纹理信息作为输入的卷积神经网络，来推算所述权重。

5.如权利要求1所述的物体识别装置，其特征在于：

所述第一置信度计算部基于由所述物体检测部检测出的物体的中心位置，将从所述视野重叠区域取得的三维信息扩展至所述视野非重叠区域，根据扩展至所述视野重叠区域和所述视野非重叠区域后的所述三维信息计算所述第一置信度。

6.如权利要求1所述的物体识别装置，其特征在于：

所述物体检测部实施基于由所述三维信息取得部取得的信息来对所述物体的区域进行检测的第一检测处理，并基于将通过所述第一检测处理检测出的所述物体的区域包含在内的区域的纹理信息来检测所述物体。

7.如权利要求1所述的物体识别装置，其特征在于：

所述物体检测部实施基于由所述纹理信息取得部取得的信息来对所述物体的区域进行检测的第二检测处理，并基于包含在通过所述第二检测处理检测出的所述物体的区域内的区域的视差信息来修正所述第二检测处理的检测结果，由此检测所述物体。

8.如权利要求1所述的物体识别装置，其特征在于：

所述物体检测部基于所述第一置信度计算部中使用的三维信息的取得区域信息或密度信息以及所述第二置信度计算部中使用的纹理信息的取得区域信息，改变物体的三维位置的决定方法。

9.如权利要求1所述的物体识别装置，其特征在于：

所述第一传感器和所述第二传感器分别是拍摄图像的摄像机。

10.一种车辆控制装置，其特征在于：

包括车辆控制部，其基于如权利要求1所述的物体识别装置的所述物体检测部检测出的物体的位置、所述置信度计算部计算出的所述置信度和所述物体类别确定部确定的物体的类别的信息，来对车辆进行控制，

所述车辆控制部按照所述置信度的值改变车辆控制内容。