CN102428385A

CN102428385A - 物体探测设备

Info

Publication number: CN102428385A
Application number: CN2010800218232A
Authority: CN
Inventors: 白石达也; 名波刚; 内田尚秀; 后藤宏晃; 西嵨征和
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2009-05-19
Filing date: 2010-05-18
Publication date: 2012-04-25
Anticipated expiration: 2030-05-18
Also published as: CN102428385B; JP2010271788A; US20120106786A1; DE112010002047B4; WO2010133946A1; DE112010002047T5; JP4858574B2; US8897497B2

Abstract

一种物体探测设备(10)，其包括相机ECU(3)，其通过单目相机(1)对从已经捕获的预定范围的图像数据来探测物体；融合处理部(41)，其计算探测的物体的预校正水平宽度(W)；数值计算部(42)，其估计所计算的预校正水平宽度(W)的图像深度方向上的长度(D)；以及碰撞确定部(43)，其基于图像深度方向上的所估计的长度(D)来校正通过融合处理部(41)计算的预校正水平宽度(W)。

Description

物体探测设备

技术领域

本发明涉及一种物体探测设备，其基于成像装置捕获的图像来探测物体。

背景技术

对于现有技术来说，探测诸如先行车辆或接近车辆的另一车辆的位置等的物体探测设备被用于车辆防碰撞系统等中，以避免与另一车辆相撞。这种物体探测设备的一个实例是通过传感器融合识别过程探测物体的装置，传感器融合识别过程将由相机捕获的图像与通过雷达探测的结果组合。

利用雷达进行探测，原则上其不可能计算探测目标物体(即，要被探测的物体)的宽度，但其可以获取与距该物体的距离有关的信息。另一方面，利用单目相机进行探测，不可能获取距探测目标物体的距离，但可以探测物体的宽度等。传感器融合是一种用于通过组合多个传感器的这些类型的功能来探测障碍物的方法。过去，已经进行了与通过传感器融合来进行物体探测有关的各种研究。

例如，日本专利申请公布No.2005-329779(JP-A-2005-329779)描述了一种障碍物识别装置，其通过传感器融合识别过程识别主车辆前方的障碍物，而不受相机图像的坐标偏离雷达探测器的坐标的影响，其中其在白天期间的精度与在夜间期间的精度等之间没有区别。

顺便提及，在通过这种类型的传感器融合进行的障碍物探测中，不能利用单目相机获取距探测目标物体的距离，所以根据单目相机的视野，物体的水平宽度(即，物体的厚度方向上的宽度)比前方的深度方向(即，延伸为所述距离)长并在前方弯曲，诸如主车辆前方的护栏或墙壁，最终会错误地估计为比其实际厚度厚。因此，当车辆行驶时，会降低物体是否是需要由主车辆进行操作响应(即，回避动作)的障碍物的确定精度。

发明内容

因此，本发明提供一种物体探测设备，其能够通过精确估计物体的水平宽度来提高主车辆前方的物体是否需要主车辆进行操作响应(即，回避动作)的确定精度。

本发明的第一方面涉及一种物体探测设备，其包括图像探测装置，其用于通过用于从已经捕获的预定范围的图像数据来探测物体；计算装置，其用于计算由图像探测装置探测的物体的水平宽度；估计装置，其用于估计由图像探测装置探测的物体的图像深度方向上的长度(即，图像的深度方向；本说明书中简称为“图像深度方向”)；以及校正装置，其用于基于由估计装置估计的图像深度方向上的长度来校正由计算装置计算的物体的水平宽度。

根据该结构，在已由捕获的图像数据计算的物体的预校正水平宽度之后，接着基于图像深度方向上的估计的长度进行校正。因此，能够更精确地估计提供有物体探测设备的车辆(即，主车辆)周围的物体的水平宽度。因此，可以提高确定物体是否是需要主车辆进行操作响应(即，回避动作)的障碍物的确定精度。

上述物体探测设备还可以包括雷达探测装置，其用于在预定范围内发射电磁波并获取电磁波发射方向上物体的探测点。图像探测装置可以基于由雷达探测装置获取的探测点从图像数据探测物体。根据该结构，利用来自雷达探测装置的电磁波来获取探测点，且基于所获取的探测点从图像数据探测物体。因此，可以更精确地探测物体。

此外，在具有该结构的物体探测设备中，可以通过雷达探测装置来获取多个探测点。此外，估计装置可以基于通过雷达探测装置而获取的到第一探测点的第一距离以及到第二探测点的第二距离之间的差额来估计物体的图像深度方向上的长度，且第一探测点和第二探测点可以处于物体的水平宽度范围内。根据该结构，可以更精确地探测在图像深度方向上的长度。

此外，具有该结构的物体探测设备还可以包括确定装置，其用于确定由图像探测装置探测的物体是否是车辆。如果由确定装置确定的物体是车辆，则校正装置可以禁止校正水平宽度。根据该结构，如果确定所探测的物体是车辆，则不校正水平宽度，所以与物体有关的水平宽度相对没有深度，例如车辆的车体的背面部分，且其中可以更精确地探测不需要被校正的水平宽度。

此外，在具有该结构的物体探测设备中，确定装置可以确定差额是否等于或大于固定差，且如果由确定装置确定的物体是车辆，则校正装置可以禁止校正水平宽度，且其不确定的是该距离等于或大于固定差。

在具有上述结构的物体探测设备中，可以基于由雷达探测装置而获取的探测点来设定预定范围。

在具有上述结构的物体探测设备中，图像深度方向可以是从图像探测装置到物体的方向，且水平方向可以是与从图像探测装置至物体的方向正交的方向。

此外，具有上述结构的物体探测设备还包括斜度获取装置，其用于在通过所述图像探测装置探测的所述物体的所述图像数据中获取所述物体所占据的物体区域的斜度，且估计装置可以基于由获取装置获取的物体区域的斜度来估计物体的图像深度方向上的长度。根据该结构，当图像数据中的物体区域的斜度大于当物体是车辆，如同在深度方向上较长(即，延伸为所述距离)且在前方弯曲的物体，例如主车辆前方的护栏或墙壁的情况时，由此可以估计图像深度方向上的长度。结果，可以更精确地探测图像深度方向上的长度。

在具有该结构的物体探测设备中，物体区域的斜度可以是物体区域的纵向方向与图像数据的水平方向之间的角度。此外，确定装置可以确定物体区域的斜度是否大于预定值，且如果确定物体区域的斜度等于或小于预定值，则校正装置可以禁止校正水平宽度。

在具有上述结构的物体探测设备中，物体可以位于预定范围中。

因此，本发明使得可以通过精确估计物体的水平宽度而在确定主车辆前方的物体是否需要主车辆进行操作响应(即，回避动作)时提高确定精度。

附图说明

参考附图对示例实施例的下述说明，将使本发明的上述和其他目的、特征和优点变得显而易见，其中相同的附图标记用于表示相同的元件，以及其中：

图1是示出根据本发明第一示例实施例的物体探测设备的框图；

图2是说明预校正水平宽度作为在利用单目相机和相机ECU暂时计算的水平宽度的图示；

图3是说明计算水平宽度和图像深度方向上的长度的方法的图示；

图4是当存在先行车辆以及先行车前方的车辆时，利用单目相机和相机ECU获取的图像数据的一个实例的图示；

图5是当存在先行车辆以及先行车辆前方的车辆时，用于计算水平宽度的方法的图示；

图6是说明物体探测设备中执行的例程的流程图；

图7A至7D是说明用于获取根据本发明第二示例实施例的物体探测设备中的护栏的图像数据中的物体区域的斜度的方法的图示；

图8A至8D是说明用于获取先行车辆的图像数据中的物体区域的斜度的方法的图示；以及

图9是说明物体探测设备中执行的例程的流程图。

具体实施方式

以下将参考附图来更详细地说明本发明的示例实施例。

首先将参考图1来说明根据本发明第一示例实施例的物体探测设备的结构，图1是根据本发明第一示例实施例的物体探测设备10的框图。根据本示例实施例的物体探测设备10是车辆外围监控装置，其安装在诸如汽车的车辆(以下称为“主车辆”)中，且通过更精确地估计物体的水平宽度(即，厚度方向上的宽度)来提高主车辆前方的物体是否是需要主车辆进行操作响应(即，回避动作)的障碍物的确定的确定精度。要被探测为主车辆前方的物体的预定探测目标物体的实例包括在深度方向上长且弯曲远离前方距离的物体，诸如车辆前方的护栏或墙壁，以及诸如坠落物体的障碍物或诸如先行车辆或先行车辆前方的车辆的其他车辆。

如图1中所示，物体探测设备10包括单目相机1(其是图像探测装置的一个实例)、毫米波雷达2(其是雷达探测装置的一个实例)、相机ECU 3(其是图像探测装置的一个实例)以及DSS(驾驶员支持系统)ECU 4(其是计算装置的一个实例)。顺便提及，相机ECU 3和DSS ECU 4均形成有电子控制单元计算机，所述电子控制单元计算机包括CPU、ROM和RAM等主要组件。

单目相机1是图像捕获部，其安装到主车辆前部并捕获主车辆前方的范围的图像。单目相机1以预定时间间隔来捕获车辆前方的预定范围，创建该范围的图像数据并随后将所创建的图像数据连续地输出至相机ECU 3。

毫米波雷达2是雷达探测部，其安装在主车辆前方部分中的单目相机1附近，并探测主车辆前方的物体。毫米波雷达2在相同范围中水平和垂直扫描毫米波段无线电波，该相同范围为由单目相机1捕获的主车辆前方的预定范围，并获取探测点数据，该探测点数据包括通过探测反射波而获取的距该范围中物体的距离数据。

即，毫米波雷达2在预定范围内以多个不同方向发射毫米波段的无线电波，并获取探测点数据，该探测点数据包括发射无线电波方向上的距物体的距离数据。毫米波雷达2以预定时间间隔来获取探测点数据并将所获取的探测点数据连续地输出至相机ECU 3和DSS ECU 4。

相机ECU 3是图像处理部，其在通过毫米波雷达2探测主车辆前方的物体时，基于与所探测的物体有关的探测点数据从图像数据设定包括预定探测目标物体的图像处理区域，并通过执行用于该图像处理区域的图像处理而搜索和探测(即，感测)。相机ECU 3连接至单目相机1并获取从单目相机1输出的图像数据。相机ECU 3随后基于与由毫米波雷达2探测的物体有关的探测点数据从图像数据设定图像处理区域，并通过用于图像处理区域的图像处理(诸如边界分析处理、亮度分析处理或光学流量处理)探测主车辆前方的探测目标物体的图像部分，并提取特性和特性量。相机ECU 3可以采用各种众所周知的图像处理方法中任一种，以探测预定探测目标物体的图像部分。一旦探测到探测目标物体的图像部分，相机ECU 3就将包括所探测的图像部分的图像数据输出至DSS ECU 4。

在本示例实施例中，相机ECU 3连接至毫米波雷达2并获取从毫米波雷达2输出的大量探测点数据。相机ECU 3从由毫米波雷达2获取的大量探测点数据中提取与探测目标物体相对应的探测点数据，设定图像处理区域并通过参考所提取的探测点数据从图像探测所述探测目标物体。以此方式，组合来自毫米波雷达2的物体探测结果和来自图像的物体探测结果。一旦探测到探测目标物体，则相机ECU 3就将识别所探测的探测目标物体的探测点数据输出至DSS ECU 4。

DSS ECU 4是传感器融合处理部，其利用融合数据并通过计算信息来执行最终感测，该信息例如是探测目标物体的位置和水平方向以及与从单目相机到所探测的物体的方向正交的方向(本说明书简单称为“水平方向”)的宽度，该融合数据即为由融合探测点数据和图像数据导致的数据。DSS ECU 4连接至毫米波雷达2以及相机ECU 3，并获取从毫米波雷达2输出的探测点数据，以及获取包括从相机ECU 3输出的所探测的图像部分的图像数据。

这里，DSS ECU 4通过处理探测点数据和图像数据来计算特性量信息，该特性量信息例如是主车辆前方的预定探测目标物体的水平宽度和位置，并在必要时校正该信息。随后，基于计算结果，DSS ECU 4确定主车辆和探测目标物体之间的碰撞可能性并将确定结果输出至制动部(未示出)，该制动部执行控制制动的制动控制(也未示出)，以将制动力施加至主车辆。

此外，DSS ECU 4包括融合处理部41(即，计算装置、斜度获取装置)，数值计算部42(即，估计装置)以及碰撞确定部43(即，校正装置、确定装置)。

融合处理部41是执行计算和存储通过单目相机1和相机ECU 3探测的探测目标物体的位置和水平宽度(即，厚度方向的宽度)的计算处理的部分。下文将说明来计算水平宽度的特定方法。

此外，融合处理部41能够获取和存储用于由单目相机1和相机ECU 3探测的探测目标物体的图像数据中的物体区域的斜度。图像数据中的物体区域的斜度还可以通过执行用于获取亮度信息的亮度分析处理或通过执行光学流量处理来提取。下文将描述用于计算图像数据中的物体区域的斜度的特定方法。

数值计算部42是执行计算处理的部分，该计算处理计算和估计诸如由单目相机1和相机ECU 3探测的物体的图像深度方向上的长度的物理值。这里，图像深度方向上的长度是指表示具有在主车辆的纵向方向上延伸的该水平宽度的探测目标物体的形状远到何种程度的长度。下文将描述用于计算图像深度方向上的长度的特定方法。

此外，数值计算部42能够执行计算处理，其基于到将在下文描述的由通过毫米波雷达2获取的图像数据中的物体的第一探测点数据表示的探测点P1的第一距离与到将在下文描述的由物体的第二探测点数据表示的探测点P3的第二距离之间的差额来估计并存储将在下文描述的图像深度方向上的长度D。顺便提及，探测点P1和探测点P3是包括在由融合处理部41计算的水平宽度的范围中的探测点。

此外，数值计算部42能够基于由融合处理部41获取的图像数据中的物体区域的斜度来估计和存储图像深度方向上的长度。

碰撞确定部43是执行计算处理的部分，该计算处理利用探测点数据和图像数据、基于由数值计算部42估计的图像深度方向的长度来校正由融合处理部41计算的水平宽度，并存储校正后的水平宽度，然后确定主车辆C是否将与障碍物相碰撞，除非主车辆C采取适当响应，即采取回避动作(即，碰撞确定部43作出碰撞确定)。将在下文描述用于校正水平宽度的特定方法。

此外，碰撞确定部43能够通过执行图形匹配而确定由单目相机1和相机ECU 3探测的探测目标物体是否是车辆。如果确定探测目标物体是车辆，则碰撞确定部43将禁止校正水平宽度(即，或者如果水平宽度已经被校正，则碰撞确定部43将使水平宽度恢复为预校正水平宽度)。

接下来，将参考图2和3来描述用于计算(并校正)水平宽度的方法和用于计算与水平宽度有关的图像深度方向上的长度的方法。图2是示出利用单目相机1和相机ECU 3而计算的预校正水平宽度W临时作为水平宽度的图示。图3是说明用于计算水平宽度和图像深度方向上的长度的方法的图示。这里，将假设其中主车辆C行驶在前方向左弯曲的道路R上的情况，且在深度方向上伸长(即，延伸为所述距离)并且在前方向左侧弯曲的护栏G被提供在道路R的右侧的弯曲处上。

首先，融合处理部41计算护栏G的位置和水平宽度(即，主车辆的宽度方向上物体的长度)，护栏G作为利用单目相机1和相机ECU2探测的探测目标物体，如图2中所示。护栏G处于图像探测结果区域S内，该区域是由通过单目相机1和相机ECU 3探测的结果作为探测目标物体而表示的区域。基于作为图2中护栏G到右侧的最远端部的探测点P1和作为图2中护栏G到左侧的最远端部的探测点P3之间的差额，将预校正水平宽度W计算为临时计算水平宽度，探测点P1和探测点P3由不能获取距护栏G的距离的单目相机1和相机ECU 3来获取。

接着，数值计算部42估计通过单目相机1和相机ECU 3的探测的护栏G的图像深度方向上的长度D，如图3中所示。这里，护栏G的图像深度方向上的长度D是表示护栏G的形状在主车辆C的纵向方向上(即从单目相机1至护栏G的方向)延伸远到何种程度的长度。更具体来说，数值计算部42基于从毫米波雷达2获取的、由第一探测点数据指示的从主车辆C至探测点P1的第一距离与由第二探测点数据指示的从主车辆C至探测点P3的第二距离之间的差额来估计在图像深度方向上的长度D。这里，当估计图像深度方向上的长度D时，通过可以额外利用由第三探测点数据表示的、从主车辆C至探测点P2的第三距离来更精确地进行估计。顺便提及，这些探测点P1、P2和P3是在由融合处理部41计算的水平宽度W范围中包括的探测点。

接着，碰撞确定部43基于由数值计算部42估计的图像深度方向上的长度D来使用通过由第一探测点数据表示的到探测点P1的第一距离、由第二探测点数据表示的到探测点P3的第二距离以及由第三探测点数据表示的到探测点P2的第三距离以校正通过融合处理部41计算的预校正水平宽度W。

更具体来说，碰撞确定部43首先确定在预校正水平宽度W内是否存在探测点(例如，探测点P2)。如果存在这样的探测点(在此情况下，为探测点P2)，则碰撞确定部43从形成预校正水平宽度W的探测点之中(例如，探测点P1和探测点P3)来确定该探测点(在这种情况下为探测点P2)是否与比该探测点(即在这种情况下为探测点P2)更远的探测点(在这种情况下为探测点P3)相隔预定距离或更大距离。如果这些确定点(这里指确定点P2和确定点P3)相隔预定距离或更大距离，则碰撞确定部43执行用于校正从图像获取的预校正水平宽度W的处理(即，进行校正以消除与预校正水平宽度W中的探测点P2和探测点P3相对应的图像区域的影响)。通过融合处理部41计算的预校正水平宽度W基于诸如探测点P1至P3的多个探测点、通过重复这种处理来最终被校正为后校正水平宽度T。

顺便提及，碰撞确定部43还可以构造为确定由毫米波雷达2探测的物体是否是具有深度等于或大于深度方向上的预定距离的物体(例如，护栏或阻挡墙壁)，且如果确定毫米波探测物体是具有这种深度的物体，则对预校正水平宽度W执行校正处理。如果碰撞确定部43以这种方式构造，如果由相隔预定距离或更大距离的多个探测点形成的探测点组对于给定物体存在预定时间段或更长时间段，则碰撞确定部43还可以确定毫米波探测物体具有如上深度。

接下来，将参考图4和5来描述当在主车辆C前方存在先行车辆和在先行车辆前方的车辆时用于计算(并校正)水平宽度的方法。图4是当存在先行车辆A1以及先行车辆A1前方的车辆A2时，利用单目相机1和相机ECU 3获取的图像数据的一个实例的图示，且图5是当存在先行车辆A1和先行车辆A1前方的车辆A2时，用于计算水平宽度的方法的图示。这里，假设其中主车辆C行驶在直线道路R上且先行车辆A1和先行车辆A1前方的车辆A2位于主车辆C前方的情况。

首先，碰撞确定部43通过执行图形匹配来确定上述图像探测结果区域S内的探测目标物体(即，先行车辆A1或先行车辆A1前方的车辆A2)是否是车辆，如图4中所示，如果确定出图像探测结果区域S内的探测目标物体是车辆，则碰撞确定部43禁止校正处于毫米波雷达2的探测目标范围T内的、与所监控范围Z内最靠近主车辆C的先行车辆A1有关的预校正水平宽度W，而是将其设定为后校正水平宽度T，如图5中所示。

另一方面，如果确定图像探测结果区域S内的探测目标物体不是车辆，则数值计算部42估计由毫米波雷达2获取的毫米波目标到目标距离，即到由第一探测点数据表示的探测点Q1的第一距离与到由第二探测点数据表示的探测点Q2的第二距离之间的差额，如图5中所示。碰撞确定部43随后确定由数值计算部42估计的毫米波目标到目标距离是否等于或大于固定值(例如5米)。如果确定毫米波目标到目标距离等于或大于固定值，则碰撞确定部43禁止校正处于毫米波雷达2的探测目标范围T内的、与所监控范围Z内最靠近主车辆C的先行车辆A1有关的预校正水平宽度W，而是设定为后校正水平宽度T，如图5中所示。

接下来，参考图6来描述物体探测设备10的操作，其是说明物体探测设备10中执行的例程的流程图。这种例程在发动机起动的时刻直至发送机关掉的时刻重复执行。

首先，在步骤S01，相机ECU 3读取并获取从毫米波雷达2输出的探测点数据以及从单目相机1输出的图像数据。

接下来，在步骤S02，相机ECU 3确定是否存在能够链接到由毫米波雷达2获取的多个探测点数据的图像数据。如果不确定存在能够链接到多个探测点数据的图像数据，则结束例程的循环。另一方面，如果确定存在能够链接到多个探测点数据的图像数据，则相机ECU 3从多个探测点数据中提取与探测目标物体相对应的探测点数据，并通过参考所提取的探测点数据来探测探测目标物体。随后，融合处理部41计算与该探测目标物体有关的预校正水平宽度W且数值计算部42估计该探测目标物体的图像深度方向上的长度D。

接着，在步骤S03，碰撞确定部43通过执行图形匹配来确定是否存在探测目标物体是车辆的高概率。如果确定存在探测目标物体是车辆的高概率，则过程进行至将在下文描述的步骤S07。另一方面，如果不确定存在探测目标物体是车辆的高概率，则过程进行至将在下文描述的步骤S04。

在步骤S04，融合处理部41确定是否存在作为步骤S03中做出确定的探测目标物体之外的目标的、在图像探测结果区域S内的探测目标物体。如果不确定是否存在作为步骤S03中做出确定的探测目标物体之外的物体的探测目标物体，则过程进行至将在下文描述的步骤S07。另一方面，如果确定存在作为步骤S03中做出确定的探测目标物体之外的物体的探测目标物体，则过程进行至将在下文描述的步骤S05。

在步骤S05，数值计算部42确定作为到由第一探测点数据表示的探测点(例如探测点Q1)的第一距离与到由第二探测点数据表示的探测点(例如探测点Q2)的第二距离之间的差额的毫米波目标到目标距离是否等于或大于固定距离(例如五米)。如果不能确定毫米波目标到目标距离等于或大于固定距离，则过程进行至将在下文说明的步骤S07。另一方面，如果确定毫米波目标到目标距离等于或大于固定距离，则过程进行至将在下文说明的步骤S06。

在步骤S06，碰撞确定部43利用到由第一探测点数据表示的探测点的第一距离、到由第二探测点数据表示的探测点的第二距离、到由第三探测点数据表示的探测点的第三距离以及将在下文说明的图像数据基于由数值计算部42估计的图像深度方向上的长度D来校正通过融合处理部41计算的预校正水平宽度W。即，碰撞确定部43执行校正限制，其基于所探测的探测点，将由融合处理部41计算的预校正水平宽度W校正为后校正水平宽度T。

在步骤S07，碰撞确定部43禁止校正由融合处理部41计算的预校正水平宽度(即，不执行校正限制)，而是将其设定为后校正水平宽度T。

接下来，将参考图7A至7D以及图8A至8D来描述根据本发明第二示例实施例的物体探测设备中获取图像数据中的物体区域的斜度的方法。图7A至7D是说明在根据本发明第二示例实施例的物体探测设备中获取护栏G的图像数据中的物体区域的斜度的方法的图示，且图8A至8D是说明在根据本发明第二示例实施例的物体探测设备中用于获取先行车辆A1的图像数据中的物体区域的斜度的方法的图示。本示例实施例中的物体探测设备10具有的结构与图1中所示的结构相同，且其执行的处理与第一示例实施例中所述的处理的不同之处仅在于对图像深度方向上的长度D的估计。

首先，将参考图7A至7D来说明获取护栏G的图像数据中的物体区域的斜度的方法。首先，如图7A中所示，单目相机1生成图像数据。随后，相机ECU 3通过对该图像数据执行边界分析处理、分层分析处理或光学流量处理等来提取该图像数据中的特性量，如图7B中所示的虚线。

接着，相机ECU 3基于所提取的特性量来执行标记，其将标记F分配给能够标记的区域(即，确定给定物体是给定物体的处理)，如图7C中所示。随后，相机ECU 3对所标记的区域的部分执行线性拟合处理，其中可以拟合(即应用)诸如直线L1和直线L2的直线。因此，指定物体区域，即由直线围绕的区域。随后相机ECU 3通过对该物体区域中的像素执行最小平方方法等的直线近似来计算图像的斜度，其是该图像数据中的物体区域的斜度。随后相机ECU 3将图像中的该计算的斜度值与预设阈值(即，当物体区域具有等于或大于预定值的长度时，与斜度有关的凭借经验获取的角度，例如几十度)进行比较。这里，图像的斜度是由物体区域的纵向方向和图像中的水平方向(即，侧向)或物体区域的纵向方向和图像的垂直方向(即纵向方向)产生的角度。该图像的斜度还可以例如是由图7D中的直线L2和水平方向产生的角度或由图7D中直线L2和水平方向产生的角度。这里，图像中所计算的斜度值的大小被确定为大于预设阈值(或等于或大于阈值)，因此估计物体具有的长度等于或大于图像深度方向上的预定值(即，图像中的水平宽度被估计为比物体的实际宽度长)，且因此执行上述校正。

接着，参考图8A至8D来描述用于获取先行车辆A1的图像数据中的物体区域的图像的斜度的方法。首先，单目相机1产生图像数据，如图8A中所示。随后相机ECU 3通过对该图像数据执行边界分析处理、分层分析处理或光学流量处理等来提取该图像数据的特性，如图8B中的虚线所示。

接着，相机ECU 3基于所提取的特性来执行标记，其将标记分配给能够标记的区域(即，确定给定物体是给定物体的处理)，如图8C中所示。随后，相机ECU 3对所标记的区域的部分执行线性拟合处理，其中能够拟合(即，应用)诸如直线L1、直线L2、直线L3和直线L4的直线，如图8D中所示。因此，指定物体区域，即由直线围绕的区域。随后，相机ECU 3通过对该物体区域中的像素执行最小平方方法等的直线近似来计算图像的斜度，其是该图像数据中的物体区域的斜度。随后，相机ECU 3将图像中的该计算的斜度值与预设阈值(即，当物体区域具有等于或大于预定值的长度时，与斜度有关的凭借经验值获取的角度，例如几十度)进行比较。这里，图像中的所计算的斜度的大小被确定为小于预设阈值(或者等于或小于阈值)，因此估计物体的图像深度方向上的长度小于预定值(即，适当估计图像中的水平宽度)，且因此不进行上述的校正。

接下来，参考图9来描述物体探测设备10的操作，其是说明物体探测设备10中执行的例程的流程图。该例程在发动机起动的时刻直至发动机关掉的时刻重复执行。

首先在步骤S11，相机ECU 3通过读取和获取毫米波雷达2输出的探测点数据以及从单目相机1输出的图像数据来探测障碍物。

随后在步骤S12，相机ECU 3通过对图像数据执行边界分析处理、分层分析处理或光学流量处理等来提取图像数据中的特性量。

接着，在步骤S13，相机ECU 3基于所提取的特性量来标记能够被标记的区域(即，确定给定物体是给定物体的过程)。

随后，在步骤S14，相机ECU 3对所标记的区域的部分来执行线性拟合，其中能够拟合(即，应用)诸如直线L1和直线L2的直线。因此，指定物体区域，即由直线围绕的区域。随后，融合处理部41通过计算和测量对该物体区域获取图像中的斜度，即图像数据中的图像的斜度。

接着，在步骤S15，碰撞确定部43确定由融合处理部41获取的图像中的斜度的角度是否大于阈值(即，例如通过经验获取的几十度的角度)。如果不确定在图像中的所获取的斜度的角度大于阈值(即，如果确定图像中的所获取的斜度角度等于或小于阈值)，则结束该例程的循环。另一方面，如果确定在图像中的所获取的斜度角度大于阈值，则过程进行至下文说明的步骤S16。

在步骤S16，融合处理部41计算与物体区域有关的预校正水平宽度W，随后数值计算部42基于由融合处理部41获取的图像中的斜度来估计与物体区域有关的图像深度方向上的长度D。随后，基于由数值计算部42估计的图像深度方向上的长度D，碰撞确定部43通过将由融合处理部41计算的预校正水平宽度W进行减小来将其校正为后校正水平宽度T。

顺便提及，第一示例实施例中的物体的图像深度方向上的长度D的估计可以与第二示例实施例中的物体的图像深度方向上的长度D的估计组合地执行。即，数值计算部42还可以基于第一示例实施例中的到第一探测点的第一距离与到第二探测点的第二距离之间的差额以及通过第二示例实施例中的融合处理部41获取的图像的斜度来估计图像深度方向上的长度D。

接下来，将描述物体探测设备10的操作和效果。如参考图3所描述的，对于已经捕获的预定区域，通过图像处理来从图像数据探测到物体，且通过图像处理来计算探测到的物体的预校正水平宽度W(即，在道路R中突出的探测物体的宽度)。随后，通过图像处理来估计所计算的预校正水平宽度W的图像深度方向上的长度D，且该计算的预校正水平宽度W基于图像深度方向上的所估计的长度D被校正为后校正水平宽度T(即，在道路R中没有突出的探测物体的宽度)。

以此方式，在已经从图像数据计算预校正水平宽度W后，随后基于图像深度方向上的所估计的长度D进行校正。因此，可以更精确地估计主车辆C前方的物体的水平宽度。因此，可以提高适当并正确地确定物体是否是需要由主车辆C(例如，通过PCS(预碰撞系统)响应，即通过激活用以降低由碰撞导致的损坏的系统响应)进行操作响应(即，回避动作)的障碍物的确定的确定精度。结果，可以减少基于该响应的不必要的警告或控制。

此外，在预定范围内发射电磁波的毫米波，且可以与距离数据一同获取其中发射这些毫米波的方向上的物体的探测点。随后，包括预定探测目标物体的图像处理区域基于所获取的探测点和距离数据从图像数据来设定，且通过对该图像处理区域执行图像处理来探测物体。以此方式，利用来自毫米波雷达2的毫米波，与距离数据一起获取探测点，且基于所获取的探测点和距离数据，从图像数据探测物体(即，执行传感器融合)。结果，难以仅利用单目相机1探测的物体可以被更精确地探测，且与该物体的距离有关的信息可以被更精确地获取。

此外，基于从主车辆C至图像数据中的物体的第一探测点的第一距离与从主车辆C至由毫米波雷达2获取的物体的第二探测点的第二距离之间的差额来估计图像深度方向上的长度D，因此可以更精确地探测图像深度方向上的长度D。

此外，如果确定所探测物体是车辆，则不校正预校正水平宽度W，因此可以更精确地探测与具有相对无深度的物体，诸如探测的车辆的车体的背面部分有关的水平宽度以及其中不需要被校正的水平宽度。

此外，基于物体的所获取的图像数据中的物体区域的图像的斜度来估计图像深度方向上的长度D。因此，当图像数据中的物体区域的图像的斜度大于在所探测的物体是车辆时的、具有在深度方向上(即，延伸为所述距离)伸长并在前方弯曲的物体——例如主车辆C前方的护栏G或墙壁——时，可以因此估计图像深度方向上的长度D。另一方面，当主车辆C前方具有车辆时，当图像数据中的物体区域的图像的斜度小于具有在深度方向上(即，延伸为所述距离)伸长并在前方弯曲的物体时，可以因此将水平方向上的长度(即，宽度方向)估计为比图像深度方向上的长度D长。

在本发明的第一和第二示例实施例中，毫米波雷达2用作雷达探测装置。但是，在修改的示例中，雷达探测装置可以发射另一波长的电磁波。例如，激光雷达可以用作雷达探测装置。

因此，本发明使得可以提供一种物体探测设备，其通过更精确地估计物体的水平宽度而能够改进主车辆前方的物体是否是需要由主车辆进行操作响应(即，回避动作)的物体的确定的确定精度。

虽然上文已经说明了本发明的一些实施例，但是可以理解，本发明不限于所述的实施例，而可以由本领域技术人员在不脱离本发明的范围的情况下可对本发明进行各种变化、变形或改进。

Claims

1.一种物体探测设备，其特征在于包括：

图像探测装置，所述图像探测装置用于从已经捕获的预定范围的图像数据来探测物体；

计算装置，所述计算装置用于计算由所述图像探测装置探测的所述物体的水平宽度；

估计装置，所述估计装置用于估计由所述图像探测装置探测的所述物体的图像深度方向上的长度；以及

校正装置，所述校正装置用于基于由所述估计装置估计的所述图像深度方向上的长度来校正由所述计算装置计算的所述物体的水平宽度。

2.根据权利要求1所述的物体探测设备，还包括：

雷达探测装置，所述雷达探测装置用于在所述预定范围内发射电磁波并获取该电磁波发射方向上的物体的探测点，其中，

所述图像探测装置基于由所述雷达探测装置获取的所述探测点来从所述图像数据探测所述物体。

3.根据权利要求2所述的物体探测设备，其中，

通过所述雷达探测装置获取多个所述探测点；

所述估计装置基于由所述雷达探测装置获取的、到第一探测点的第一距离和到第二探测点的第二距离之间的差额来估计所述物体的所述图像深度方向上的长度；以及

所述第一探测点和所述第二探测点处于所述物体的水平宽度的范围内。

4.根据权利要求3所述的物体探测设备，还包括：

确定装置，所述确定装置用于确定由所述图像探测装置探测的所述物体是否是车辆，其中，

如果通过所述确定装置确定所述物体是车辆，则禁止所述校正装置校正所述水平宽度。

5.根据权利要求4所述的物体探测设备，其中，

所述确定装置确定所述差额是否等于或大于固定差；并且

如果通过所述确定装置确定所述物体是车辆并且没有确定所述距离等于或大于固定差，则禁止所述校正装置校正所述水平宽度。

6.根据权利要求2至5中任一项所述的物体探测设备，其中，

基于由所述雷达探测装置获取的所述探测点来设定所述预定范围。

7.根据权利要求1至6中任一项所述的物体探测设备，其中，

所述图像深度方向是从所述图像探测装置至所述物体的方向。

8.根据权利要求7所述的物体探测设备，其中，

所述水平方向是与从所述图像探测装置至所述物体的方向相正交的方向。

9.根据权利要求1至8中任一项所述的物体探测设备，还包括：

斜度获取装置，所述斜度获取装置用于在通过所述图像探测装置探测的所述物体的所述图像数据中获取所述物体所占据的物体区域的斜度，其中，

所述估计装置基于由所述获取装置获取的所述物体区域的斜度来估计所述物体的所述图像深度方向上的长度。

10.根据权利要求9所述的物体探测设备，其中，

所述物体区域的斜度是所述物体区域的纵向方向与所述图像数据的所述水平方向之间的角度；

所述确定装置确定所述物体区域的斜度是否大于预定值；并且

如果确定所述物体区域的斜度等于或小于所述预定值，则禁止所述校正装置校正所述水平宽度。

11.根据权利要求1至10中任一项所述的物体探测设备，其中，

所述物体处于所述预定范围内。