CN104685866B - 三维物体检测装置以及三维物体检测方法 - Google Patents

Abstract

一种三维物体检测装置，具备：摄像单元(10)，其搭载于车辆，具备使本车辆后方的影像成像的镜头；三维物体检测单元(33)，其基于摄像图像来检测存在于检测区域的三维物体；夜间判断单元(34)，其判断是否为夜间；亮度检测部(35)，其基于摄像图像来检测多个图像区域的亮度；亮度峰检测单元(36)，其检测亮度的峰中的具有规定值以上的亮度梯度的亮度的峰来作为对象亮度峰；以及控制单元(37)，其在判断为是夜间的情况下，基于检测出的对象亮度峰的检测结果来抑制三维物体检测单元(33)对三维物体的检测。

Description

三维物体检测装置以及三维物体检测方法

技术领域

本发明涉及一种三维物体检测装置以及三维物体检测方法。

本申请要求基于2012年7月27日申请的日本专利申请的特愿2012-166527的优先权，针对文献参照中确认进入的指定国，通过参照上述申请所记载的内容来引入本申请中，并作为本申请的记载的一部分。

背景技术

以往以来，已知一种基于由摄像机拍摄得到的摄像图像来检测本车辆周边的三维物体的技术(参照专利文献1)。

专利文献1：日本特开2006-311216号公报

发明内容

发明要解决的问题

当在夜间基于由摄像机拍摄得到的摄像图像来检测本车辆周边的三维物体时，在因降雨等而在路面上形成水膜的情况下，街灯等光源会在路面反射，因而存在误将在路面反射的光源等的光的像检测为三维物体的情况。

本发明要解决的问题在于，提供一种能够适当地检测三维物体的三维物体检测装置。

用于解决问题的方案

本发明在基于由摄像单元拍摄得到的摄像图像来检测三维物体的三维物体检测装置中，基于摄像图像来检测多个图像区域的亮度，将所检测出的亮度的峰中的具有规定值以上的亮度梯度的亮度的峰检测为对象亮度峰，在处于夜间的情况下，基于对象亮度峰的检测结果来抑制三维物体的检测，由此解决上述问题。

发明的效果

根据本发明，基于因在路面反射的街灯等光源产生的特定亮度峰，来抑制三维物体的检测，由此能够有效防止误将在路面反射的街灯等光源识别为三维物体。

附图说明

图1是搭载了三维物体检测装置的车辆的概要结构图。

图2是表示图1的车辆的行驶状态的俯视图。

图3是表示计算机的详细内容的框图。

图4是用于说明对位部的处理的概要的图，(a)是表示车辆的移动状态的俯视图，(b)是表示对位的概要的图像。

图5是表示三维物体检测部生成差分波形的情形的概要图。

图6是表示差分波形和用于检测三维物体的阈值α的一例的图。

图7是表示由三维物体检测部分割出的小区域的图。

图8是表示由三维物体检测部获得的直方图的一例的图。

图9是表示三维物体检测部的加权的图。

图10是表示由三维物体检测部获得的直方图的另一例的图。

图11是用于说明亮度检测部检测亮度的方法的图。

图12是表示本车辆正在行驶的场景的一例的图。

图13是在图12所示的场景例下生成的亮度直方图的一例。

图14是表示基于在图12所示的场景例下生成的亮度直方图的、一阶微分直方图和二阶微分直方图的一例的图。

图15是用于说明基于特定亮度峰的三维物体检测的控制方法的图。

图16是用于说明控制部的差分阈值th的设定方法的图。

图17是用于说明特定亮度峰的亮度与禁止三维物体的检测的范围之间的关系的图。

图18是表示特定亮度峰与用于判断邻近车辆V2的判断次数之间的关系的图。

图19是表示基于边缘的强度的直方图的一例的图。

图20是表示第1实施方式所涉及的邻近车辆检测处理的流程图。

图21是表示第1实施方式所涉及的三维物体检测控制处理的流程图。

图22是表示第2实施方式所涉及的计算机的详细内容的框图。

图23是表示车辆的行驶状态的图，(a)是表示检测区域等的位置关系的俯视图，(b)是表示实际空间中的检测区域等的位置关系的立体图。

图24是用于说明第2实施方式所涉及的亮度差计算部的动作的图，(a)是表示鸟瞰视点图像中的关注线、参照线、关注点以及参照点的位置关系的图，(b)是表示实际空间中的关注线、参照线、关注点以及参照点的位置关系的图。

图25是用于说明第2实施方式所涉及的亮度差计算部的详细动作的图，(a)是表示鸟瞰视点图像中的检测区域的图，(b)是表示鸟瞰视点图像中的关注线、参照线、关注点以及参照点的位置关系的图。

图26是表示用于说明边缘检测动作的图像例的图。

图27是表示边缘线和边缘线上的亮度分布的图，(a)是表示在检测区域存在三维物体(邻近车辆)时的亮度分布的图，(b)是表示在检测区域不存在三维物体时的亮度分布的图。

图28是表示第2实施方式所涉及的邻近车辆检测方法的流程图。

具体实施方式

<第1实施方式>

图1是搭载了本实施方式所涉及的三维物体检测装置1的车辆的概要结构图。本实施方式所涉及的三维物体检测装置1的目的在于检测本车辆V1在车道变更时有可能接触的存在于邻近车道的三维物体(邻近车辆V2等三维物体)。如图1所示，本实施方式所涉及的三维物体检测装置1具备摄像机10、车速传感器20以及计算机30。

摄像机10如图1所示那样在本车辆V1后方的高度h的地方以光轴相对于水平向下形成角度θ的方式安装于车辆V1。摄像机10从该位置拍摄本车辆V1的周围环境中的的规定区域。车速传感器20用于检测本车辆V1的行驶速度，根据例如由检测车轮转速的车轮速度传感器检测出的车轮速来计算车速度。计算机30进行本车辆后方的存在于邻近车道的邻近车辆的检测。

图2是表示图1的本车辆V1的行驶状态的俯视图。如该图所示，摄像机10以规定的视角a拍摄车辆后方侧。此时，摄像机10的视角a被设定为除了能够拍摄到本车辆V1所行驶的车道以外还能够拍摄到其左右的车道(邻近车道)的视角。

图3是表示图1的计算机30的详细内容的框图。此外，在图3中，为了明确连接关系，还图示了摄像机10、车速传感器20。

如图3所示，计算机30具备视点变换部31、对位部32、三维物体检测部33、夜间判断部34、亮度检测部35、特定亮度峰检测部36、控制部37、白浊度计算部38、路面状态推测部39以及车头灯检测部40。下面，说明各自的结构。

视点变换部31输入由摄像机10拍摄得到的规定区域的摄像图像数据，将所输入的摄像图像数据视点变换为鸟瞰视点状态的鸟瞰图像数据。鸟瞰视点状态是指从上空、例如从铅垂向下俯视的虚拟摄像机的视点观看的状态。能够例如日本特开2008-219063号公报所记载的那样执行该视点变换。将摄像图像数据视点变换为鸟瞰视点图像数据是因为基于如下原理能够识别平面物体和三维物体，该原理为三维物体所特有的铅垂边缘通过视点变换为鸟瞰视点图像数据而被变换为通过特定的定点的直线群。

对位部32依次输入由视点变换部31的视点变换获得的鸟瞰视点图像数据，并将所输入的不同时刻的鸟瞰视点图像数据的位置进行对位。图4是用于说明对位部32的处理的概要的图，(a)是表示本车辆V1的移动状态的俯视图，(b)是表示对位的概要的图像。

如图4的(a)所示，设为当前时刻的本车辆V1位于P₁，前一时刻的本车辆V1位于P₁’。另外，设为邻近车辆V2位于本车辆V1的后侧方向并与本车辆V1处于并列行驶状态，当前时刻的邻近车辆V2位于P₂，前一时刻的邻近车辆V2位于P₂’。并且，设为本车辆V1在一时刻移动了距离d。此外，前一时刻可以是从当前时刻起相隔预先决定时间(例如一个控制周期)的过去时刻，也可以是相隔任意时间的过去时刻。

在这样的状态中，当前时刻的鸟瞰视点图像PB_t如图4的(b)所示那样。在该鸟瞰视点图像PB_t中，描绘在路面上的白线为矩形状，是比较准确地以俯视观察所形成的状态，但是邻近车辆V2(位置P₂)发生倾倒。另外，前一时刻的鸟瞰视点图像PB_t-1也同样地，描绘在路面上的白线为矩形状，是比较准确地以俯视观察所形成的状态，但是邻近车辆V2(位置P₂’)发生倾倒。如已经记述的那样，是因为三维物体的铅垂边缘(除了严格意义上的铅垂边缘以外还包括在三维空间中从路面立起的边缘)通过变换为鸟瞰视点图像数据的视点变换处理而表现为沿着倾倒方向的直线群，与此相对地，路面上的平面图像不包括铅垂边缘，因此即使进行视点变换也不会产生那样的倾倒。

对位部32在数据上执行如上所述的鸟瞰视点图像PB_t、PB_t-1的对位。此时，对位部32使前一时刻的鸟瞰视点图像PB_t-1偏移来使位置与当前时刻的鸟瞰视点图像PB_t相一致。图4的(b)的左侧的图像和中央的图像表示偏移了移动距离d’后的状态。该偏移量d’是与图4的(a)所示的本车辆V1的实际的移动距离d对应的鸟瞰视点图像数据上的移动量，基于来自车速传感器20的信号和从前一时刻至当前时刻的时间来决定。

另外，在对位之后，对位部32取鸟瞰视点图像PB_t、PB_t-1的差分，生成差分图像PD_t的数据。在此，在本实施方式中，对位部32为了对应照度环境的变化，将鸟瞰视点图像PB_t、PB_t-1的像素值之差绝对值化，在该绝对值为规定的差分阈值th以上时将差分图像PD_t的像素值设为“1”，在绝对值小于规定的差分阈值th时将差分图像PD_t的像素值设为“0”，由此能够生成如图4的(b)的右侧所示那样的差分图像PD_t的数据。此外，在本实施方式中，由后述的控制部37变更差分阈值th的值，在由控制部37变更了差分阈值th的情况下，使用由控制部37变更后的差分阈值th来检测差分图像PD_t的像素值。

另外，在本实施方式中，对位部32将不同时刻的鸟瞰视点图像的位置以鸟瞰视点进行对位，获得对位后的该鸟瞰视点图像，但是能够以与检测对象的种类、所要求的检测精度相应的精度进行该“对位”处理。可以是以同一时刻和同一位置为基准进行对位之类的严格的对位处理，也可以是掌握各鸟瞰视点图像的坐标这样的程度缓和的对位处理。

而且，三维物体检测部33基于图4的(b)所示的差分图像PD_t的数据生成差分波形。此时，三维物体检测部33还计算三维物体在实际空间中的移动距离。在计算三维物体的检测和移动距离时，三维物体检测部33首先生成差分波形。

在生成差分波形时，三维物体检测部33在差分图像PD_t中设定检测区域(检测框)。本例的三维物体检测装置1的目的在于，正对在本车辆V1进行车道变更时有可能接触的邻近车辆来计算移动距离。因此，在本例中，如图2所示那样在本车辆V1的后侧方设定矩形状的检测区域(检测框)A1、A2。此外，这样的检测区域A1、A2可以根据相对于本车辆V1的相对位置进行设定，也可以将白线的位置作为基准进行设定。在以白线的位置为基准进行设定的情况下，三维物体检测装置1例如利用已有的白线识别技术等即可。

另外，三维物体检测部33如图2所示那样将设定的检测区域A1、A2的在本车辆V1侧的边(沿着行驶方向的边)识别为触地线L1、L2。通常，触地线是指三维物体接触地面的线，但在本实施方式中不是接触地面的线而是如上述那样进行设定。此外，在这种情况下，从经验上看本实施方式所涉及的触地线与本来基于邻近车辆V2的位置求出的触地线之差也不会过大，从而在实际使用上没有问题。

图5是表示三维物体检测部33生成差分波形的情形的概要图。如图5所示，三维物体检测部33根据由对位部32计算出的差分图像PD_t(图4的(b)的右图)中的相当于检测区域A1、A2的部分来生成差分波形DW_t。此时，三维物体检测部33沿着通过视点变换而三维物体倾倒的方向生成差分波形DW_t。此外，在图5所示的例子中，为了方便仅使用检测区域A1进行说明，但是关于检测区域A2，也以相同的过程生成差分波形DW_t。

具体地说，首先，三维物体检测部33在差分图像PD_t的数据上定义三维物体倾倒的方向上的线La。然后，三维物体检测部33对线La上示出规定的差分的差分像素DP的个数进行计数。在本实施方式中，关于示出规定的差分的差分像素DP，用“0”、“1”表现差分图像PD_t的像素值，表示“1”的像素作为差分像素DP被计数。

三维物体检测部33在对差分像素DP的个数进行计数之后，求出线La与触地线L1的交点CP。然后，三维物体检测部33将交点CP与计数数进行对应，基于交点CP的位置来决定横轴位置、即在图5的右图的上下方向轴上的位置，并且根据计数数决定纵轴位置、即图5的右图的左右方向轴上的位置，绘制出交点CP处的计数数。

以下同样地，三维物体检测部33对三维物体倾倒的方向上的线Lb、Lc···进行定义，来对差分像素DP的个数进行计数，基于各交点CP的位置决定横轴位置、根据计数数(差分像素DP的个数)决定纵轴位置进行绘制。三维物体检测部33依次重复上述内容并进行频数分布化来如图5右图所示那样生成差分波形DW_t。

在此，差分图像PD_t的数据上的差分像素PD是在不同时刻的图像中存在变化的像素，换言之，可以说是存在三维物体的部分。因此，在存在三维物体的部分，沿着三维物体倾倒的方向对像素数进行计数并进行频数分布化，由此生成差分波形DW_t。特别地，由于沿着三维物体倾倒的方向对像素数进行计数，因此根据针对三维物体来说在高度方向上的信息来生成差分波形DW_t。

此外，如图5左图所示，三维物体倾倒的方向上的线La和线Lb与检测区域A1相重叠的距离不同。因此，当假设检测区域A1被差分像素DP填满时，线La上的差分像素DP的个数多于线Lb上的差分像素DP的个数。因此，三维物体检测部33在根据差分像素DP的计数数决定纵轴位置的情况下，基于三维物体倾倒的方向上的线La、Lb与检测区域A1相重叠的距离来进行标准化。当列举具体例时，在图5左图中，在线La上有6个差分像素DP，在线Lb上有5个差分像素DP。因此，在图5中根据计数数决定纵轴位置时，三维物体检测部33将计数数除以重叠距离等来进行标准化。由此，如差分波形DW_t所示那样，与三维物体倾倒的方向上的线La、Lb对应的差分波形DW_t的值大致相同。

在生成差分波形DW_t后，三维物体检测部33基于所生成的差分波形DW_t进行存在于邻近车道的邻近车辆的检测。在此，图6是用于说明三维物体检测部33检测三维物体的方法的图，示出了差分波形DW_t以及用于检测三维物体的阈值α的一例。如图6所示，三维物体检测部33通过判断所生成的差分波形DW_t的峰值是否为与该差分波形DW_t的峰位置对应的规定的阈值α以上，由此判断在检测区域A1、A2中是否存在三维物体。然后，在差分波形DW_t的峰值小于规定的阈值α的情况下，三维物体检测部33判断为在检测区域A1、A2中不存在三维物体，另一方面，在差分波形DW_t的峰值为规定的阈值α以上的情况下，三维物体检测部33判断为在检测区域A1、A2中存在三维物体。

并且，三维物体检测部33通过当前时刻的差分波形DW_t与前一时刻的差分波形DW_t-1的对比来计算三维物体的移动速度。即，三维物体检测部33根据差分波形DW_t、DW_t-1的时间变化来计算三维物体的移动速度。另外，三维物体检测部33还计算本车辆V1相对于三维物体的移动速度的相对移动速度。

详细地说，三维物体检测部33如图7所示那样将差分波形DW_t分割成多个小区域DW_t1～DW_tn(n为2以上的任意整数)。图7是表示由三维物体检测部33分割出的小区域DW_t1～DW_tn的图。小区域DW_t1～DW_tn例如图7所示那样以相互重叠的方式进行分割。例如小区域DW_t1与小区域DW_t2重叠，小区域DW_t2与小区域DW_t3重叠。

接着，三维物体检测部33按各小区域DW_t1～DW_tn求出偏移量(差分波形的横轴方向(图7的上下方向)的移动量)。在此，根据前一时刻的差分波形DW_t-1与当前时刻的差分波形DW_t之差(横轴方向的距离)求出偏移量。此时，三维物体检测部33按各小区域DW_t1～DW_tn，在使前一时刻的差分波形DW_t-1沿横轴方向移动时，判断出与当前时刻的差分波形DW_t的误差最小的位置(横轴方向的位置)，求出差分波形DW_t-1的原来的位置与误差最小的位置的在横轴方向上的移动量来作为偏移量。然后，三维物体检测部33对按各小区域DW_t1～DW_tn求出的偏移量进行计数来制作直方图。

图8是表示由三维物体检测部33获得的直方图的一例的图。如图8所示，各小区域DW_t1～DW_tn与前一时刻的差分波形DW_t-1的误差最小的移动量即偏移量稍微产生偏差。因此，三维物体检测部33将包含偏差的偏移量制作成直方图，根据直方图计算移动距离。此时，三维物体检测部33根据直方图的极大值计算三维物体(邻近车辆V2)的移动距离。即，在图8所示的例子中，三维物体检测部33将表示直方图的极大值的偏移量计算为移动距离τ*。这样，在本实施方式中，即使偏移量产生偏差，也能够根据其极大值计算正确性更高的移动距离。此外，移动距离τ*是三维物体(邻近车辆V2)相对于本车辆的相对移动距离。因此，三维物体检测部33在计算绝对移动距离的情况下，基于所获得的移动距离τ*和来自车速传感器20的信号来计算绝对移动距离。

这样，在本实施方式中，根据在不同时刻生成的差分波形DW_t的误差最小时的差分波形DW_t的偏移量计算三维物体(邻近车辆V2)的移动距离，由此根据波形这样的一维的信息的偏移量计算移动距离，从而能够在计算移动距离时抑制计算成本。另外，通过将不同时刻生成的差分波形DW_t分割成多个小区域DW_t1～DW_tn，能够获得表示三维物体的各个部分的多个波形，由此能够针对三维物体的各个部分求出偏移量，从而能够根据多个偏移量求出移动距离，因此能够提高移动距离的计算精度。另外，在本实施方式中，根据包含高度方向的信息的差分波形DW_t的时间变化来计算三维物体的移动距离，由此与仅关注于1个点的移动的情况相比，时间变化前的检测部分和时间变化后的检测部分由于包含高度方向的信息进行确定，因此容易得到三维物体中相同的部分，根据相同部分的时间变化来计算移动距离，从而能够提高移动距离的计算精度。

此外，在制作成直方图时，三维物体检测部33也可以针对多个小区域DW_t1～DW_tn中的每一个进行加权，与权重相应地对按各小区域DW_t1～DW_tn求出的偏移量进行计数来制作直方图。图9是表示三维物体检测部33的加权的图。

如图9所示，小区域DW_m(m为1以上、n-1以下的整数)是平坦的。即，小区域DW_m的示出规定的差分的像素数的计数的最大值与最小值之差小。三维物体检测部33针对这样的小区域DW_m将权重减小。这是因为关于平坦的小区域DW_m没有特征，从而在计算偏移量时误差变大的可能性高。

另一方面，小区域DW_m+k(k为n-m以下的整数)有大量的起伏。即，小区域DW_m的示出规定的差分的像素数的计数的最大值与最小值之差大。三维物体检测部33针对这样的小区域DW_m将权重增大。这是因为关于有很多起伏的小区域DW_m+k具有特征，从而能够正确地进行偏移量的计算的可能性高。通过像这样进行加权，能够提高移动距离的计算精度。

此外，为了提高移动距离的计算精度，在上述实施方式中，将差分波形DW_t分割成了多个小区域DW_t1～DW_tn，但是在移动距离的计算精度要求不那么高的情况下，也可以不分割成小区域DW_t1～DW_tn。在这种情况下，三维物体检测部33根据差分波形DW_t与差分波形DW_t-1的误差变为最小时的差分波形DW_t的偏移量计算移动距离。即，求出前一时刻的差分波形DW_t-1与当前时刻的差分波形DW_t的偏移量的方法不限定于上述内容。

此外，在本实施方式中，三维物体检测部33求出本车辆V1(摄像机10)的移动速度，根据求出的移动速度求出关于静止物体的偏移量。在求出静止物体的偏移量之后，三维物体检测部33忽略直方图的极大值中的相当于静止物体的偏移量之后计算三维物体的移动距离。

图10是表示由三维物体检测部33获得的直方图的另一例的图。在摄像机10的视角内除了三维物体以外还存在静止物体的情况下，在获得的直方图中出现两个极大值τ1、τ2。在这种情况下，两个极大值τ1、τ2中的某一方是静止物体的偏移量。因此，三维物体检测部33根据移动速度求出关于静止物体的偏移量，忽略相当于该偏移量的极大值，采用剩下的一方的极大值计算三维物体的移动距离。由此，能够防止因静止物体而导致三维物体的移动距离的计算精度降低的情形。

此外，在即使忽略相当于静止物体的偏移量也存在多个极大值的情况下，设想在摄像机10的视角内存在多辆三维物体。但是，在检测区域A1、A2内存在多个三维物体的情形是非常少见的。因此，三维物体检测部33中止移动距离的计算。由此，在本实施方式中，能够防止计算出如存在多个极大值那样的错误的移动距离的情形。

这样，在本实施方式中，通过检测存在于检测区域A1、A2内的三维物体，并判断所检测出的三维物体是否为邻近车辆V2，能够检测存在于邻近车道的邻近车辆V2。

另外，当由于降雨等而在路面上形成水膜时，在夜间街灯等光源会在路面反射，本实施方式具备用于有效防止误将因这样的光源而形成的像检测为三维物体的功能。为了实现这种功能，本实施方式的计算机30具备夜间判断部34、亮度检测部35、特定亮度峰检测部36、控制部37、白浊度计算部38、路面状态推测部39以及车头灯检测部40。下面，说明这些各结构。

夜间判断部34基于由摄像机10拍摄得到的摄像图像来判断是否为夜间。夜间判断部34的夜间判断方法不特别限定，例如，夜间判断部34能够在由摄像机10拍摄得到的摄像图像整体的亮度为规定值以下的情况下判断为是夜间。另外，夜间判断部34也可以基于照度计、时刻来判断是否为夜间。

亮度检测部35根据摄像图像检测被摄体的亮度。在此，图11是用于说明亮度检测部35检测亮度的方法的图。具体地说，亮度检测部35将检测区域A1、A2分割成以摄像机10为原点的放射状的像素区域。然后，亮度检测部35对与分割后的各像素区域对应的各像素的亮度值进行累积。然后，亮度检测部35在计算出各像素区域的累积亮度值之后，求出各像素区域与触地线L1的交点CP。然后，亮度检测部35将交点CP与各像素区域的累积亮度值进行对应，基于交点CP的位置来决定横轴位置、即在图11的右图的上下方向轴的位置，并且根据各像素区域的累积亮度值来决定纵轴位置、即在图11的右图的左右方向轴的位置，绘制出交点CP处的累积亮度值，由此生成如图11的右图所示那样的亮度直方图。此外，在图11中，例示了检测区域A1中的亮度的检测方法来进行说明，但是与检测区域A1同样地，亮度检测部35在检测区域A2中也进行亮度的检测，生成检测区域A2中的亮度直方图。另外，亮度检测部35在生成亮度直方图时，也可以将相邻两个像素区域间的累积亮度值相加来作为一个像素区域的累积亮度值进行绘制，以使亮度直方图平滑。

特定亮度峰检测部36基于由亮度检测部35生成的亮度直方图来检测因街灯等光源产生的亮度的峰，作为特定亮度峰。具体地说，特定亮度峰检测部36检测在亮度直方图中检测出的亮度的峰中的亮度梯度为规定的判断梯度值以上的亮度的峰，来作为因街灯等光源产生的特定亮度峰。此外，特定亮度峰检测部36针对检测区域A1和检测区域A2分别进行特定亮度峰的检测。

在此，图12是表示本车辆V1正在行驶的场景的一例的图，例示了以下的场景：由于来自存在于路外的街灯的光Ls₁、Ls₂在设定有检测区域A1的路面反射，因此在检测区域A1检测出街灯的光Ls₁、Ls₂，并且在检测区域A2检测出邻近车辆V2的车头灯lh的光。

另外，图13是在图12所示的场景例下生成的亮度直方图的一例。如图12所示，在检测区域A1检测出在路面反射的街灯的光Ls₁、Ls₂的情况下，如图13的(A)所示，在检测区域A1的亮度直方图中检测出与在路面反射的来自街灯的光Ls₁、Ls₂相应的陡峭的亮度的峰。另一方面，如图12所示，在检测区域A2检测出邻近车辆V2的车头灯的光lh的情况下，如图13的(B)所示，在检测区域A2的亮度直方图中检测出与邻近车辆V2的车头灯lh相应的平缓的亮度的峰。这样，街灯等光源在路面反射而得到的光在亮度直方图中倾向于具有陡峭的亮度的峰，另一方面，邻近车辆V2的车头灯的光在亮度直方图中倾向于具有平缓的亮度的峰。因此，特定亮度峰检测部36基于亮度的峰的亮度梯度来检测与在路面反射的街灯等光源对应的特定亮度峰。

具体地说，特定亮度峰检测部36基于如图14的(A)所示的亮度直方图，来如图14的(B)所示那样生成一阶微分直方图。具体地说，特定亮度峰检测部36计算最新的亮度直方图与前一时刻(前一处理周期)的亮度直方图的差分来作为一阶微分直方图。并且，特定亮度峰检测部36如图14的(C)所示那样基于所生成的一阶微分直方图来生成二阶微分直方图。具体地说，与一阶微分直方图同样地，特定亮度峰检测部36计算最新的一阶微分直方图与前一时刻(前一处理周期)的一阶微分直方图的差分，来作为二阶微分直方图。此外，图14是表示基于在图12所示的场景例下生成的亮度直方图的一阶微分直方图和二阶微分直方图的图。

然后，特定亮度峰检测部36基于二阶微分直方图中的亮度梯度的变化量来检测亮度直方图中的亮度的峰的亮度梯度。在此，在将如图14的(A)所示那样的亮度直方图如图14的(B)、(C)所示那样变换为一阶直方图或二阶直方图的情况下，因在路面反射的街灯等光源产生的亮度梯度大，越是陡峭的亮度的峰越是在一阶直方图和二阶直方图中呈现出大的峰，相反，因邻近车辆V2的车头灯产生的亮度梯度小，越是平缓的亮度的峰越是在一阶直方图和二阶直方图中呈现出小的峰。因此，在二阶微分直方图中的亮度梯度的变化量的绝对值为规定的第一变化量以上的情况下，特定亮度峰检测部36判断为亮度直方图中的亮度的峰的亮度梯度大、该亮度的峰陡峭地突出，将该亮度的峰检测为中亮度的特定亮度峰。并且，在二阶微分直方图中的亮度梯度的变化量的绝对值为大于第一变化量的第二变化量以上的情况下，特定亮度峰检测部36判断为该亮度的峰大幅突出，将该亮度的峰检测为高亮度的特定亮度峰。另外，特定亮度峰检测部36在进行特定亮度峰的检测时，还检测特定亮度峰的位置和数量。

返回到图3，控制部37基于由特定亮度峰检测部36检测出的特定亮度峰来控制三维物体检测部33对三维物体的检测。具体地说，如图15所示，控制部37根据由特定亮度峰检测部36检测出的特定亮度峰的数量和亮度值的大小来控制三维物体检测部33对三维物体检测。

具体地说，在所检测出的特定亮度峰的数量为规定的第一判断数以上且小于比第一判断数大的第二判断数的情况下，控制部37通过将差分阈值th变更为高的值来抑制三维物体检测部33对三维物体的检测，以针对检测区域A1、A2中的检测出特定亮度峰的区域抑制三维物体的检测。在此，图16是用于说明控制部37设定差分阈值th的方法的图。控制部37针对检测区域A1、A2中的检测出特定亮度峰的区域，如图16所示那样基于各像素区域的亮度值来设定各像素区域中的差分阈值th。具体地说，如图16所示，检测出特定亮度峰的区域中的各像素区域的亮度值越高，则控制部37将该像素区域中的差分阈值th设定为越高的值。由此，变得难以在检测出特定亮度峰的区域内检测出三维物体，其结果，能够有效防止误将在路面反射的街灯等光源检测为三维物体。

另外，如图16所示，控制部37在针对检测出特定亮度峰的区域变更差分阈值th时，使所设定的差分阈值th的值根据是高亮度的特定亮度峰还是中亮度的特定亮度峰而不同。具体地说，如图16所示，控制部37以如下方式改变差分阈值th与像素区域的亮度值的关系：与所检测出的特定亮度峰是中亮度的特定亮度峰的情况相比，在所检测出的特定亮度峰是高亮度的特定亮度峰的情况下，针对同一像素区域的亮度值，将差分阈值th设定为高的值。越是高亮度的特定亮度峰、即越是亮度梯度大而陡峭地突出的亮度的峰，则越有可能是因在路面反射的街灯等光源产生的亮度峰，因此针对检测出高亮度的特定亮度峰的区域，与检测出中亮度的特定亮度峰的区域相比使差分阈值th高，来提高三维物体检测的抑制度，由此能够更有效地防止误将在路面反射的街灯等光源检测为三维物体。

另外，在检测出的特定亮度峰的数量为规定的第二判断数以上的情况下，控制部37针对检测区域A1、A2中的检测出特定亮度峰的区域来禁止三维物体检测部33对三维物体的检测。在此，特定亮度峰被认为是因在路面反射的街灯等光源产生的亮度峰，检测出的特定亮度峰的数量越多，越能够判断为处于反射街灯等光源的路面未被三维物体遮挡的状态。即，检测出的特定亮度峰的数量越多，则越能够判断为反射街灯等光源的路面上不存在三维物体。因此，当在所检测出的特定亮度峰的数量为规定的第二判断数以上的情况下针对检测出特定亮度峰的区域来禁止三维物体检测部33对三维物体的检测时，能够防止三维物体的检测精度的降低并有效防止三维物体的错误检测。

另外，在所检测出的特定亮度峰的数量为规定的第二判断数以上的情况下，控制部37与特定亮度峰的亮度相应地使禁止三维物体的检测的范围不同。具体地说，如图17所示，与特定亮度峰的亮度是中亮度的情况相比，在特定亮度峰的亮度是高亮度的情况下，控制部37能够将禁止三维物体检测部33对三维物体的检测的范围扩大(例如，与检测出特定亮度峰的区域的范围相比，使禁止三维物体检测部33对三维物体的检测的范围扩大)。此外，图17是用于说明特定亮度峰的亮度与禁止三维物体的检测的范围之间的关系的图。

并且，在正在检知到邻近车辆V2的情况下，控制部37在固定时间内禁止上述的基于特定亮度峰的三维物体检测控制。在此，控制部37能够从三维物体检测部33反复获取本车辆V1相对于三维物体的移动速度的相对移动速度，在本车辆V1的相对移动速度为规定速度以下的次数为规定的判断次数以上的情况下，判断为三维物体是正在超越本车辆V1的邻近车辆V2，在固定时间内禁止基于特定亮度峰的三维物体检测控制。另外，在这种情况下，控制部37能够基于检测出的特定亮度峰的亮度值的大小来设定基于本车辆V1的相对移动速度判断三维物体的上述判断次数。例如，如图18所示，与特定亮度峰是中亮度的情况相比，在特定亮度峰是高亮度的情况下，控制部37能够使判断次数增加。由此，在检测出因在路面反射的街灯等光源产生的可能性高的高亮度的特定亮度峰的情况下，用于判断为三维物体的判断次数被增加，其结果，能够抑制三维物体(邻近车辆V2)的检测，有效防止误将在路面反射的街灯等光源检测为三维物体(邻近车辆V2)。此外，上述规定速度不特别限定，例如能够使其为1km/h～2km/h以下。将上述规定速度设为1km/h～2km/h以下而不设为小于0km/h是为了防止误将附着于摄像机10的镜头的雨滴的像检测为存在于邻近车道的三维物体。此外，图18是表示特定亮度峰与用于判断邻近车辆V2的判断次数之间的关系的图。

并且，控制部37能够形成以下结构：在基于特定亮度峰来控制三维物体的检测时，仅在所检测出的特定亮度峰中的相距最远的特定亮度峰之间的距离为规定距离以上的情况下，对三维物体的检测进行控制。在此，因邻近车辆V2的车头灯产生的光lh的亮度的峰是缓和的，因此在存在车头灯的光hl的情况下，相距最远的亮度的峰之间的距离倾向于变小。因此，通过仅在所检测出的特定亮度峰中的相距最远的特定亮度峰之间的距离为规定距离以上的情况下基于特定亮度峰对三维物体的检测进行控制，能够有效防止误将因邻近车辆V2的车头灯产生的光的亮度的峰检测为特定亮度峰而抑制三维物体的检测的情况。

返回到图3，白浊度计算部38计算水垢等异物附着在镜头上而镜头白浊(在镜头表面上形成有白色的薄膜)的程度，来作为镜头的白浊度。具体地说，白浊度计算部38首先从地平线、路牙等预期会抽出规定量的边缘的区域抽出被摄体的边缘，基于所抽出的边缘的强度来生成直方图。在此，图19是表示基于边缘的强度的直方图的一例的图，以实线表示镜头处于白浊状态时的直方图，以虚线表示镜头未处于白浊状态时的直方图。

在水垢等异物附着在镜头上而镜头处于白浊状态的情况下，来自被摄体的光束的一部分被异物所遮挡或者进行漫反射，由此被摄体的轮廓(边缘)会模糊，如图19所示那样，与镜头未处于白浊状态的情况相比，从被摄体抽出的边缘的强度倾向于变小。因此，在本实施方式中，白浊度计算部38计算所抽出的边缘的强度的平均值S_ave，并且计算所抽出的边缘的强度的标准偏差σ，将边缘的强度的平均值S_ave与标准偏差σ相加得到的值计算为镜头的白浊度。

然后，白浊度计算部38将计算出的镜头的白浊度输出到控制部37。由此，控制部37根据镜头的白浊度来使用于检测特定亮度峰的第一变化量和第二变化量变化。具体地说，镜头的白浊度越高，控制部37越将用于检测特定亮度峰的第一变化量和第二变化量减小。由此，即使镜头处于白浊状态而因在路面反射的街灯等光源产生的亮度的峰的亮度梯度变小的场景下，也能够将因在路面反射的街灯等光源产生的亮度的峰检测为特定亮度峰。

路面状态推测部39推测是否处于由于降雨等而在路面上形成水膜的状态。具体地说，路面状态推测部39能够基于刮水器的动作状况来推测是否由于降雨等而在路面上形成水膜。例如，在能够将刮水器的动作频度设定为三个阶段(关：Off、低：Low、高：Hi)的情况下，当刮水器从高切换到低或者从高或低切换到关的情况下，路面状态推测部39推测为此前发生降雨、在路面上形成有水膜(水洼)的可能性高。另外，路面状态推测部39也可以在刮水器的动作频度是高的情况下推测为由于发生了强降雨而在路面上形成有水膜的可能性高。这样，路面状态推测部39基于刮水器的动作状态来推测降雨状态，由此能够适当地推测是否在路面上形成有水膜。

另外，路面状态推测部39推测路面的状态的方法不限定于上述方法，例如能够如下那样判断是否处于在路面上形成有水膜的状态。具体地说，路面状态推测部39也可以使雨滴传感器(未图示)向镜头照射红外光并检测所照射的红外光因雨滴而衰减的衰减量，由此能够检测镜头表面上的雨滴量，在该检测的结果是雨滴量为固定量以上的情况下，推测为由于降雨而在路面上形成水膜。或者，也可以通过导航装置来获取天气信息，由此推测是否由于降雨而在路面上形成水膜。

并且，路面状态推测部39能够根据图像的纹理分析的结果来判断是否为建筑物等的像映入形成于路面的水膜等而成的虚像，由此判断是否在路面上形成有水膜。

具体地说，路面状态推测部39指定沿着视点变换为鸟瞰视点图像时三维物体倾倒的方向的判断线(图5的La、Lb等)中的、在差分波形信息中进行计数得到的频数为规定值以上的一个基准判断线(例如La)，判断基准判断线(La)上的图像区域的亮度与包括与基准判断线相邻的判断线在内的一个或多个比较判断线(Lb、Lc、…)上的图像区域的亮度之间的亮度差是否小于规定值，在亮度差小于规定值的情况下，判断为在包括图像区域的区域内检测出的三维物体是虚像。关于亮度差的比较，能够将基准判断线(La)上的某一个像素或包含该像素的图像区域的亮度与比较判断线(Lb、Lc、…)的某一个像素或包含该像素的图像区域的亮度进行比较。另外，能够基于图5所示的差分波形信息中的示出规定的差分的像素数或频数分布化后得到的值来判断亮度差。这样，路面状态推测部39利用周围构造物映入路面的水膜而成的虚像的图像对比度低这一特征，来判断与检测出的三维物体对应的像是实像还是虚像，由此能够适当地推测是否处于在路面上形成有水膜的状态。

然后，由路面状态推测部40推测出的路面状态的推测结果被输出到控制部37。由此，控制部37基于由路面状态推测部40推测出的路面状态来控制三维物体检测部33对三维物体的检测。具体地说，在推测为在路面上形成有水膜的情况下，判断为街灯等光源在路面反射的可能性高，将用于检测特定亮度峰的第一变化量和第二变化量减小。由此，在路面上形成有水膜而街灯等光源在路面反射的可能性高的情况下，能够将以在路面反射的街灯等光源产生的亮度的峰适当地检测为特定亮度峰，因此能够有效防止误将在路面反射的街灯等光源检测为三维物体。另外，控制部37也可以形成以下结构：如图17所示那样根据特定亮度峰的亮度来改变禁止三维物体的检测的范围，在这种情况下，当推测为在路面上形成有水膜时，进一步将禁止三维物体的检测的范围增大。

返回到图3，车头灯检测部40基于由摄像机10拍摄得到的摄像图像来检测行驶于本车辆V1的后方的邻近车辆V2的车头灯。具体地说，车头灯检测部36检测与周边的明亮度之差为规定值以上且为规定以上的大小的图像区域，作为与邻近车辆V2的车头灯的光源对应的候选区域，由此检测邻近车辆V2的车头灯。并且，由于邻近车辆V2是行驶于与本车辆V1的行驶车道邻近的邻近车道的其它车辆，因此在沿车宽方向从本车辆V1至光源的距离小于规定距离的情况下，车头灯检测部40检测为所检测出的光源是邻近车辆V2的车头灯的光源。

然后，车头灯检测部40的车头灯的检测结果被发送到控制部37。由此，控制部37基于车头灯检测部40的车头灯的检测结果来控制三维物体检测部33对三维物体的检测。具体地说，在由车头灯检测部40检测出邻近车辆V2的车头灯的情况下，控制部37禁止三维物体检测的抑制。由此，在邻近车辆V2存在于邻近车道的场景下，能够适当地检测邻近车辆V2。另外，不限定于上述的结构，控制部37也可以形成以下结构：在由车头灯检测部40检测出邻近车辆V2的车头灯的情况下，例如增大第一变化量和/或第二变化量，由此使三维物体检测的抑制度变小。此外，与邻近车辆V2的车头灯的光相比，存在于本车辆V1的行驶车道的隔一车道的(下一邻近车道)的其它车辆(下一邻近车辆)的车头灯的光的亮度的峰倾向于陡峭地突出。因此，在本实施方式中，下一邻近车辆的车头灯的光被检测为特定亮度峰，其结果，能够有效地防止误将下一邻近车辆检测为邻近车辆V2。

接着，说明本实施方式所涉及的邻近车辆检测处理。图20是表示第1实施方式的邻近车辆检测处理的流程图。如图20所示，首先，由计算机30从摄像机10获取摄像图像的数据(步骤S101)，由视点变换部31基于所获取的摄像图像的数据来生成鸟瞰视点图像PB_t的数据(步骤S102)。

接着，对位部32将鸟瞰视点图像PB_t的数据和前一时刻的鸟瞰视点图像PB_t-1的数据进行对位，生成差分图像PD_t的数据(步骤S103)。具体地说，对位部32将鸟瞰视点图像PB_t、PB_t-1的像素值之差绝对值化，在该绝对值为规定的差分阈值th以上时，将差分图像PD_t的像素值设为“1”，在绝对值小于规定的差分阈值th时，将差分图像PD_t的像素值设为“0”。此外，存在用于计算差分图像PD_t的像素值的差分阈值th在后述的三维物体检测控制处理中被变更的情况，在差分阈值th被变更的情况下，在该步骤S103中使用变更后的差分阈值th。另外，在后述的三维物体检测控制处理中，存在针对检测区域A1、A2中的检测出特定亮度峰的像素区域禁止三维物体的检测的情况，在这种情况下，在禁止三维物体的检测的区域内，将差分图像PD_t的像素值计算为“0”，由此，禁止三维物体的检测。

之后，三维物体检测部33根据差分图像PD_t的数据对像素值为“1”的差分像素DP的个数进行计数，生成差分波形DW_t(步骤S104)。然后，三维物体检测部33判断差分波形DW_t的峰值是否为规定的阈值α以上(步骤S105)。在差分波形DW_t的峰值不是阈值α以上的情况下、即几乎没有差分的情况下，认为在摄像图像内不存在三维物体。因此，在判断为差分波形DW_t的峰值不是阈值α以上的情况下(步骤S105＝否)，三维物体检测部33判断为不存在三维物体而不存在邻近车辆V2(步骤S114)。然后，返回到步骤S101，重复图20所示的处理。

另一方面，在判断为差分波形DW_t的峰值为阈值α以上的情况下(步骤S105＝是)，由三维物体检测部33判断为在邻近车道存在三维物体，进入步骤S106，由三维物体检测部33将差分波形DW_t分割成多个小区域DW_t1～DW_tn。接着，三维物体检测部33对各小区域DW_t1～DW_tn进行加权(步骤S107)，计算各小区域DW_t1～DW_tn的偏移量(步骤S108)，考虑权重来生成直方图(步骤S109)。

然后，三维物体检测部33基于直方图计算三维物体相对于本车辆V1的移动距离即相对移动距离(步骤S110)。接着，三维物体检测部33根据相对移动距离计算三维物体的绝对移动速度(步骤S111)。此时，三维物体检测部33对相对移动距离进行时间微分来计算相对移动速度，并且加上由车速传感器20检测出的本车车速来计算绝对移动速度。

之后，三维物体检测部33判断三维物体的绝对移动速度是否为10km/h以上且三维物体相对于本车辆V1的相对移动速度是否为+60km/h以下(步骤S112)。在满足双方的情况下(步骤S112＝“是”)，三维物体检测部33判断为检测出的三维物体是存在于邻近车道的邻近车辆V2、即在邻近车道存在邻近车辆V2(步骤S113)。然后，结束图20所示的处理。另一方面，在有任一方不满足的情况下(步骤S112＝否)，三维物体检测部33判断为在邻近车道不存在邻近车辆V2(步骤S114)。然后，返回到步骤S101，重复图20所示的处理。

此外，在本实施方式中将本车辆V1的左右后方设为检测区域A1、A2，重点在于在本车辆V1进行车道变更的情况下是否有接触的可能性。因此，执行步骤S112的处理。即，当以使本实施方式的系统在高速道路上工作的情形为前提时，在邻近车辆V2的速度小于10km/h的情况下，即使存在邻近车辆V2，在进行车道变更时由于位于距本车辆V1很远的后方，因此很少会成为问题。同样地，在邻近车辆V2相对于本车辆V1的相对移动速度超过+60km/h的情况下(即，邻近车辆V2以比本车辆V1的速度大60km/h的速度移动的情况下)，在进行车道变更时，由于在本车辆V1的前方移动，因此很少会成为问题。因此，在步骤S112中，也可以说判断出了在进行车道变更时成为问题的邻近车辆V2。

另外，通过在步骤S112中判断邻近车辆V2的绝对移动速度是否为10km/h以上且邻近车辆V2相对于本车辆V1的相对移动速度是否为+60km/h以下，由此存在以下的效果。例如，根据摄像机10的安装误差，有可能存在将静止物体的绝对移动速度检测出是数km/h的情况。因此，通过判断是否为10km/h以上，能够减少将静止物体判断为是邻近车辆V2的可能性。另外，有可能由于噪声而导致将邻近车辆V2相对于本车辆V的相对速度检测为超过+60km/h的速度。因此，通过判断相对速度是否为+60km/h以下，能够减少因噪声引起的错误检测的可能性。

并且也可以是，代替步骤S112的处理，而判断邻近车辆V2的绝对移动速度不为负、不为0km/h。另外，在本实施方式中，重点在于本车辆V1在进行车道变更的情况下是否有接触的可能性，因此在步骤S113中检测出邻近车辆V2的情况下，可以向本车辆的驾驶员发出警告音，或者通过规定的显示装置进行相当于警告的显示。

接着，参照图21来说明第1实施方式所涉及的三维物体检测控制处理。图21是表示第1实施方式所涉及的三维物体检测控制处理的流程图。此外，以下说明的三维物体检测控制处理是与图20所示的邻近车辆检测处理并行地进行的。由此，在图20所示的邻近车辆检测处理中，按照该三维物体检测控制处理的控制，来进行三维物体的检测。

如图21所示，首先，在步骤S201中，由夜间判断部34判断是否为夜间。在判断为是夜间的情况下，进入步骤S202，另一方面，在判断为不是夜间的情况下，在步骤S201中待机。

在步骤S202中，由控制部37判断是否正在检知邻近车辆V2。控制部37能够基于本车辆V1相对于三维物体的移动速度来判断三维物体是否为正在超越本车辆V1的邻近车辆V2，由此判断是否正在检知邻近车辆V2。另外，控制部37能够基于图20所示的邻近车辆检测处理的处理结果来判断是否正在检知邻近车辆V2。在判断为正在检知邻近车辆V2的情况下，返回到步骤S201，另一方面，在判断为未检知邻近车辆V2的情况下，进入步骤S203。

在步骤S203中，由亮度检测部35检测被摄体的亮度。具体地说，如图11所示，亮度检测部35将检测区域A1、A2分割成多个像素区域，计算各像素区域中的亮度的累积值。然后，在接下来的步骤S204中，亮度检测部35沿车辆行进方向对在步骤S203中检测出的每个像素区域的亮度进行绘制，生成如图14的(A)所示那样的亮度直方图。

在步骤S205中，由特定亮度峰检测部36基于在步骤S204中生成的亮度直方图来生成一阶微分直方图，在接下来的步骤S206中，基于在步骤S205中生成的一阶微分直方图来生成二阶微分直方图。

然后，在步骤S207中，由特定亮度峰检测部36基于在步骤S206中生成的二阶微分直方图来检测特定亮度峰。具体地说，特定亮度峰检测部36在变换为二阶微分直方图时，将亮度梯度的变化量超过规定的第一变化量的亮度的峰检测为中亮度的特定亮度峰，将超过大于第一变化量的第二变化量的亮度的峰检测为高亮度的特定亮度峰。

在步骤S208中，由控制部37基于在步骤S207中检测出的特定亮度峰来进行用于抑制三维物体检测部33对三维物体的检测的处理。具体地说，如图17所示，控制部37基于检测出的特定亮度峰的数量和亮度值的大小，针对检测出特定亮度峰的像素区域将差分阈值th变更为高的值，或者禁止三维物体的检测。由此，在检测出因在路面反射的街灯等光源产生的特定亮度峰的区域内，三维物体的检测被抑制，由此，能够有效防止误将在路面反射的街灯等光源检测为三维物体。

此外，在步骤S208中，控制部37在抑制三维物体检测部33对三维物体的检测时，根据在路面反射的街灯等光源的检测容易度等来变更抑制三维物体的检测时的抑制度。例如，在摄像机10的镜头处于白浊状态的情况下，难以检测因在路面反射的街灯等光源产生的亮度的峰，因此控制部37降低抑制三维物体的检测时的抑制度。另外，在路面上形成有水膜的情况下，街灯等光源在路面反射的可能性高，因此控制部37升高抑制三维物体的检测时的抑制度。并且，在邻近车道存在邻近车辆V2的情况下，为了适当地检测邻近车辆V2，控制部37禁止三维物体的检测的抑制。

如以上那样，在第1实施方式中，检测因在路面反射的街灯等光源产生的亮度的峰来作为特定亮度峰，针对检测区域A1、A2中的检测出特定亮度峰的区域抑制三维物体的检测，由此能够有效地防止误将在路面反射的街灯等光源检测为三维物体。

<第2实施方式>

接着，说明第2实施方式所涉及的三维物体检测装置1a。如图22所示，第2实施方式所涉及的三维物体检测装置1a具备计算机30a以代替第1实施方式的计算机30，除了如以下说明的那样进行动作以外，其它与第1实施方式相同。在此，图22是表示第2实施方式所涉及的计算机30a的详细内容的框图。

如图22所示，第2实施方式所涉及的三维物体检测装置1a具备摄像机10和计算机30a，计算机30a由视点变换部31、亮度差计算部41、边缘线检测部42、三维物体检测部33a、夜间判断部34、亮度检测部35、特定亮度峰检测部36、控制部37a、白浊度计算部38、路面状态推测部39、以及车头灯检测部40构成。下面，说明第2实施方式所涉及的三维物体检测装置1a的各结构。此外，视点变换部31、夜间判断部34、亮度检测部35、特定亮度峰检测部36、以及白浊度计算部38、路面状态推测部39、以及车头灯检测部40与第1实施方式结构相同，因此省略其说明。

图23是表示图22的摄像机10的撮像范围等的图，图23的(a)是俯视图，图23的(b)表示本车辆V1后侧方的实际空间中的立体图。如图23的(a)所示，摄像机10被形成为规定的视角a，从本车辆V1拍摄包含在该规定的视角a中的后侧方。摄像机10的视角a与图2所示的情况同样地被设定成在摄像机10的摄像范围内、除了包含本车辆V1所行驶的车道以外还包含相邻的车道。

本例的检测区域A1、A2在俯视图(鸟瞰视点的状态)中呈梯形状，这些检测区域A1、A2的位置、大小以及形状基于距离d₁～d₄决定。此外，该图所示的例子的检测区域A1、A2不限于梯形状，也可以是如图2所示那样在鸟瞰视点的状态下为矩形等其它的形状。

在此，距离d1是从本车辆V1到触地线L1、L2的距离。触地线L1、L2是指存在于与本车辆V所行驶的车道相邻的车道的三维物体接触地面的线。在本实施方式中，目的是检测在本车辆V1的后侧方行驶于与本车辆V1的车道相邻的左右车道的邻近车辆V2等(包含二轮车等)。因此，能够事先根据本车辆V1至白线W的距离d11和从白线W至预测为邻近车辆V2所行驶的位置的距离d12，来大致固定地决定作为邻近车辆V2的触地线L1、L2的位置的距离d1。

另外，关于距离d1，不限于固定地决定的情况，也可以设为可变。在这种情况下，计算机30a通过白线识别等技术来识别白线W相对于本车辆V1的位置，根据识别出的白线W的位置来决定距离d11。由此，使用所决定的距离d11以可变的方式设定距离d1。在以下的本实施方式中，由于邻近车辆V2行驶的位置(距白线W的距离d12)和本车辆V1行驶的位置(距白线W的距离d11)大致固定，因此设为固定地决定距离d1。

距离d2是从本车辆V1的后端部沿车辆行进方向延伸的距离。以检测区域A1、A2至少收容在摄像机10的视角a内的方式决定该距离d2。特别地，在本实施方式中，距离d2被设定为与由视角a划分出的范围相连。距离d3是表示检测区域A1、A2的在车辆行进方向上的长度的距离。该距离d3基于作为检测对象的三维物体的大小决定。在本实施方式中，由于检测对象是邻近车辆V2等，因此距离d3被设定为包含邻近车辆V2的长度。

距离d4是如图23的(b)所示那样表示被设定成在实际空间中包含邻近车辆V2等的轮胎的高度的距离。距离d4在鸟瞰视点图像中设为图23的(a)所示的长度。此外，距离d4也能够设为不包含鸟瞰视点图像中相比于左右的邻近车道的下一邻近车道(即，隔一车道的邻近车道)的长度。这是因为如果包含与本车辆V1的车道隔一车道的邻近车道，则无法区分是在作为本车辆V1所行驶的车道的本车道的左右邻近车道内存在邻近车辆V2、还是在隔一车道的邻近车道内存在下一邻近车辆。

如以上那样决定距离d1～距离d4，由此决定检测区域A1、A2的位置、大小以及形状。具体地说，根据距离d1，决定形成梯形的检测区域A1、A2的上边b1的位置。根据距离d2，决定上边b1的起点位置C1。根据距离d3，决定上边b1的终点位置C2。根据从摄像机10向起点位置C1延伸的直线L3，决定形成梯形的检测区域A1、A2的侧边b2。同样地，根据从摄像机10向终点位置C2延伸的直线L4，决定形成梯形的检测区域A1、A2的侧边b3。根据距离d4，决定形成梯形的检测区域A1、A2的下边b4的位置。这样，由各边b1～b4包围的区域设为检测区域A1、A2。该检测区域A1、A2如图23的(b)所示那样在本车辆V1后侧方的实际空间中形成为正方形(长方形)。

亮度差计算部41为了检测鸟瞰视点图像中包含的三维物体的边缘，而针对由视点变换部31进行视点变换得到的鸟瞰视点图像数据进行亮度差的计算。亮度差计算部41针对沿着在实际空间中的铅垂方向上延伸的铅垂虚拟线的多个位置中的每个位置计算该各位置附近的两个像素间的亮度差。亮度差计算部41能够通过仅设定一条在实际空间中的铅垂方向延伸的铅垂虚拟线的方法以及设定两条铅垂虚拟线的方法中的任一个方法来计算亮度差。

在此说明设定两条铅垂虚拟线的具体方法。亮度差计算部41针对进行视点变换得到的鸟瞰视点图像设定与实际空间中在铅垂方向延伸的线段相当的第一铅垂虚拟线以及与第一铅垂虚拟线不同并与实际空间中在铅垂方向延伸的线段相当的第二铅垂虚拟线。亮度差计算部41沿着第一铅垂虚拟线和第二铅垂虚拟线连续地求出第一铅垂虚拟线上的点与第二铅垂虚拟线上的点的亮度差。以下，详细说明该亮度差计算部41的动作。

亮度差计算部41如图24的(a)所示那样设定与实际空间中在铅垂方向延伸的线段相当且通过检测区域A1的第一铅垂虚拟线La(以下称为关注线La)。另外，亮度差计算部41设定与关注线La不同并与实际空间中在铅垂方向延伸的线段相当且通过检测区域A1的第二铅垂虚拟线Lr(以下称为参照线Lr)。在此，参照线Lr被设置于与关注线La相离实际空间中的规定距离的位置处。此外，与实际空间中在铅垂方向延伸的线段相当的线是指在鸟瞰视点图像中从摄像机10的位置Ps起呈放射状扩展的线。该呈放射状扩展的线是沿着在变换为鸟瞰视点时三维物体倾倒的方向的线。

亮度差计算部41在关注线La上设定关注点Pa(第一铅垂虚拟线上的点)。另外，亮度差计算部41在参照线Lr上设定参照点Pr(第二铅垂虚拟线上的点)。这些关注线La、关注点Pa、参照线Lr、参照点Pr在实际空间中形成图24的(b)所示的关系。如从图24的(b)显而易见地，关注线La和参照线Lr是在实际空间中在铅垂方向延伸的线，关注点Pa和参照点Pr是在实际空间中被设定为大致相同的高度的点。此外，关注点Pa和参照点Pr并不一定需要是严格上的相同的高度，关注点Pa和参照点Pr被视为相同高度的程度的误差是允许的。

亮度差计算部41求出关注点Pa与参照点Pr的亮度差。假设关注点Pa与参照点Pr的亮度差大时，认为在关注点Pa与参照点Pr之间存在边缘。特别是在第2实施方式中，为了检测存在于检测区域A1、A2的三维物体，针对鸟瞰视点图像设定为在实际空间中在铅垂方向延伸的线段的铅垂虚拟线，因此在关注线La与参照线Lr的亮度差高的情况下，在关注线La的设定处存在三维物体的边缘的可能性高。因此，图22所示的边缘线检测部42根据关注点Pa与参照点Pr的亮度差来检测边缘线。

更详细地说明该点。图25是表示亮度差计算部41的详细动作的图，图25的(a)表示鸟瞰视点状态的鸟瞰视点图像，图25的(b)是将图25的(a)所示的鸟瞰视点图像的一部分B1放大后的图。此外，关于图25，仅图示检测区域A1进行说明，关于检测区域A2，也以相同的过程计算亮度差。

在摄像机10拍摄到的摄像图像内拍摄有邻近车辆V2的情况下，如图25的(a)所示那样，在鸟瞰视点图像内的检测区域A1出现邻近车辆V2。如图25的(b)示出图25的(a)中的区域B1的放大图那样，设为在鸟瞰视点图像上，在邻近车辆V2的轮胎的橡胶部分上设定了关注线La。在该状态中，亮度差计算部41首先设定参照线Lr。参照线Lr被设定在实际空间中沿铅垂方向距关注线La规定的距离的位置处。具体地说，在本实施方式所涉及的三维物体检测装置1a中，参照线Lr被设定在实际空间中与关注线La相距10cm的位置处。由此，参照线Lr在鸟瞰视点图像上例如被设定在与邻近车辆V2的轮胎的橡胶相距相当于10cm的距离的邻近车辆V2的轮胎的轮辋(wheel)上。

接着，亮度差计算部41在关注线La上设定多个关注点Pa1～PaN。在图25的(b)中，为了便于说明，设定了六个关注点Pa1～Pa6(以下，在表示任意的点的情况下，仅称为关注点Pai)。此外，在关注线La上设定的关注点Pa的个数可以是任意的。在以下的说明中，设为在关注线La上设定了N个关注点Pa进行说明。

接着，亮度差计算部41将各参照点Pr1～PrN设定成在实际空间中与各关注点Pa1～PaN相同的高度。而且，亮度差计算部41计算相同高度的关注点Pa与参照点Pr的亮度差。由此，亮度差计算部41针对沿着在实际空间中的铅垂方向上延伸的铅垂虚拟线的多个位置(1～N)中的每个位置计算两个像素间的亮度差。亮度差计算部41例如计算第一关注点Pa1与第一参照点Pr1之间的亮度差，计算第二关注点Pa2与第二参照点Pr2之间的亮度差。由此，亮度差计算部41沿着关注线La和参照线Lr连续地求出亮度差。即，亮度差计算部41依次求出第三～第N关注点Pa3～PaN与第三～第N参照点Pr3～PrN的亮度差。

亮度差计算部41在检测区域A1内移动关注线La的同时重复执行上述的参照线Lr的设定、关注点Pa和参照点Pr的设定、亮度差的计算这样的处理。即，亮度差计算部41在实际空间中沿触地线L1的延伸方向以相同的距离改变关注线La和参照线Lr各自的位置的同时重复执行上述的处理。亮度差计算部41例如将在前次处理中成为参照线Lr的线设定为关注线La，针对该关注线La设定参照线Lr，依次求出亮度差。

这样，在第2实施方式中，根据在实际空间中处于大致相同高度的关注线La上的关注点Pa和参照线Lr上的参照点Pr求出亮度差，由此能够明确地检测出存在在铅垂方向上延伸的边缘的情况下的亮度差。另外，为了进行在实际空间中在铅垂方向上延伸的铅垂虚拟线之间的亮度比较，即使通过变换为鸟瞰视点图像而三维物体与距路面的高度相应地被拉长，也不会影响三维物体的检测处理，从而能够提高三维物体的检测精度。

返回图22，边缘线检测部42根据由亮度差计算部41计算出的连续的亮度差来检测边缘线。例如在图25的(b)所示的情况下，第一关注点Pa1和第一参照点Pr1位于相同的轮胎部分，因此亮度差小。另一方面，第二关注点～第六关注点Pa2～Pa6位于轮胎的橡胶部分，第二参照点～第六参照点Pr2～Pr6位于轮胎的轮辋部分。因而，第二关注点～第六关注点Pa2～Pa6与第二参照点～第六参照点Pr2～Pr6的亮度差变大。因此，边缘线检测部42能够检测出在亮度差大的第二关注点～第六关注点Pa2～Pa6与第二参照点～第六参照点Pr2～Pr6之间存在边缘线。

具体地说，边缘线检测部42在检测边缘线时，首先按照下述式1，根据第i个关注点Pai(坐标(xi，yi))与第i个参照点Pri(坐标(xi’，yi’))的亮度差来对第i个关注点Pai赋予属性。

[式1]

I(xi，yi)＞I(xi’，yi’)+t时

s(xi，yi)＝1

I(xi，yi)＜I(xi’，yi’)-t时

s(xi，yi)＝-1

在上述以外的情况时

s(xi，yi)＝O

在上述式1中，t表示边缘阈值，I(xi，yi)表示第i个关注点Pai的亮度值，I(xi’，yi’)表示第i个参照点Pri的亮度值。根据上述式1，在关注点Pai的亮度值高于参照点Pri加上阈值t得到的亮度值的情况下，该关注点Pai的属性s(xi，yi)为‘1’。另一方面，在关注点Pai的亮度值低于从参照点Pri减去边缘阈值t得到的亮度值的情况下，该关注点Pai的属性s(xi，yi)为‘﹣1’。在关注点Pai的亮度值与参照点Pri的亮度值为除此以外的关系的情况下，关注点Pai的属性s(xi，yi)为‘0’。此外，在本实施方式中，存在由后述的控制部37a变更边缘阈值t的情况，在由控制部37a变更了边缘阈值t的情况下，使用由控制部37a变更后的边缘阈值t来检测关注点Pai的属性s(xi，yi)。

接着，边缘线检测部42基于下述式2，根据沿着关注线La的属性s的连续性c(xi，yi)判断关注线La是否为边缘线。

[式2]

s(xi，yi)＝s(xi+1，yi+1)时(且除了O＝O)，

c(xi，yi)＝1

在上述以外的情况时，

c(xi，yi)＝O

在关注点Pai的属性s(xi，yi)与相邻的关注点Pai+1的属性s(xi+1，yi+1)相同的情况下，连续性c(xi，yi)为‘1’。在关注点Pai的属性s(xi，yi)与相邻的关注点Pai+1的属性s(xi+1，yi+1)不同的情况下，连续性c(xi，yi)为‘0’。

接着，边缘线检测部42关于关注线La上的全部关注点Pa的连续性c求出总和。边缘线检测部42通过将求出的连续性c的总和除以关注点Pa的个数N，来对连续性c进行标准化。然后，在进行了标准化而得到的值超过阈值θ的情况下，边缘线检测部42将关注线La判断为边缘线。此外，阈值θ是预先通过实验等设定的值。

即，边缘线检测部42基于下述式3判断关注线La是否为边缘线。而且，边缘线检测部42关于描绘在检测区域A1上的全部关注线La判断是否为边缘线。

[式3]

Σc(xi，yi)/N＞θ

这样，在第2实施方式中，根据关注线La上的关注点Pa与参照线Lr上的参照点Pr的亮度差来对关注点Pa赋予属性，根据沿着关注线La的属性的连续性c来判断该关注线La是否为边缘线，因此能够将亮度高的区域与亮度低的区域的边界检测为边缘线，从而按照人的自然的感觉进行边缘检测。详细地说明该效果。图26是表示对边缘线检测部42的处理进行说明的图像例的图。该图像例是表示亮度高的区域和亮度低的区域反复的条纹图案的第一条纹图案101与表示亮度低的区域和亮度高的区域反复的条纹图案的第二条纹图案102相邻的图像。另外，该图像例为第一条纹图案101的亮度高的区域与第二条纹图案102的亮度低的区域相邻，并且第一条纹图案101的亮度低的区域与第二条纹图案102的亮度高的区域相邻。位于该第一条纹图案101与第二条纹图案102的边界的部位103根据人的感觉而倾向于不认为是边缘。

与此相对地，由于亮度低的区域与亮度高的区域相邻，因此如果仅依据亮度差检测边缘，则导致该部位103被识别为边缘。但是，边缘线检测部42除了部位103处的亮度差以外，仅在该亮度差的属性存在连续性的情况下将部位103判断为边缘线，因此边缘线检测部42能够抑制将以人的感觉不识别为边缘线的部位103识别为边缘线的错误判断，从而能够按照人的感觉进行边缘检测。

返回图22，三维物体检测部33a根据由边缘线检测部42检测出的边缘线的量来检测三维物体。如上述那样，本实施方式所涉及的三维物体检测装置1a检测在实际空间中在铅垂方向延伸的边缘线。检测出在铅垂方向延伸的边缘线多的情况就是在检测区域A1、A2存在三维物体的可能性高的情况。因此，三维物体检测部33a基于由边缘线检测部42检测出的边缘线的量来检测三维物体。具体地说，三维物体检测部33a判断由边缘线检测部42检测出的边缘线的量是否为规定的阈值β以上，在边缘线的量为规定的阈值β以上的情况下，判断为由边缘线检测部42检测出的边缘线是三维物体的边缘线。

并且，三维物体检测部33a在检测三维物体之前，判断由边缘线检测部42检测出的边缘线是否为正确的边缘线。三维物体检测部33a判断沿着边缘线上的鸟瞰视点图像的边缘线的亮度变化是否为规定的阈值tb以上。在边缘线上的鸟瞰视点图像的亮度变化为阈值tb以上的情况下，判断为该边缘线是由于错误判断而检测出的。另一方面，在边缘线上的鸟瞰视点图像的亮度变化小于阈值tb的情况下，判断为该边缘线是正确的边缘线。此外，该阈值tb是通过实验等预先设定的值。

图27是表示边缘线的亮度分布的图，图27的(a)表示在检测区域A1内存在作为三维物体的邻近车辆V2的情况下的边缘线和亮度分布，图27的(b)表示在检测区域A1内不存在三维物体时的边缘线和亮度分布。

如图27的(a)所示，设为判断为在鸟瞰视点图像中设定于邻近车辆V2的轮胎橡胶部分的关注线La是边缘线。在这种情况下，关注线La上的鸟瞰视点图像的亮度变化平缓。这是由于由摄像机10拍摄到的图像被视点变换为鸟瞰视点图像，由此邻近车辆的轮胎在鸟瞰视点图像内被拉长。另一方面，如图27的(b)所示，设为鸟瞰视点图像中被设定在描绘于路面上的“50”这样的白色文字部分上的关注线La被错误判断为是边缘线。在这种情况下，关注线La上的鸟瞰视点图像的亮度变化为起伏大的变化。这是因为在边缘线上混杂有白色文字中的亮度高的部分和路面等的亮度低的部分。

根据如以上那样的关注线La上的亮度分布的差异，三维物体检测部33a判断边缘线是否为由于错误判断而检测出的。例如，在将由摄像机10获取到的摄像图像变换为鸟瞰视点图像的情况下，存在该摄像图像中包含的三维物体以被拉长的状态出现在鸟瞰视点图像中的倾向。例如上述那样在邻近车辆V2的轮胎被拉长的情况下，由于轮胎这一个部位被拉长，因此形成被拉长的方向上的鸟瞰视点图像的亮度变化小的倾向。对于此，在将描绘在路面上的文字等错误判断为边缘线的情况下，在鸟瞰视点图像中混合包含有文字部分这样的亮度高的区域和路面部分这样的亮度低的区域。在这种情况下，在鸟瞰视点图像中，被拉长的方向的亮度变化有变大的倾向。因此，在沿边缘线的亮度变化为规定的阈值tb以上的情况下，三维物体检测部33a判断为该边缘线是由于错误判断而检测出的、该边缘线不是因三维物体而产生的边缘线。由此，抑制路面上的“50”这样的白色文字、路肩的杂草等被判断为边缘线，从而抑制三维物体的检测精度下降。另一方面，在沿着边缘线的亮度变化小于规定的阈值tb的情况下，三维物体检测部33a判断为该边缘线是三维物体的边缘线，判断为存在三维物体。

具体地说，三维物体检测部33a通过下述式4、式5中的任一个来计算边缘线的亮度变化。该边缘线的亮度变化相当于实际空间中的铅垂方向的评价值。下述式4通过关注线La上的第i个亮度值I(xi，yi)与相邻的第i+1个亮度值I(xi+1，yi+1)的差分的平方的合计值来评价亮度分布。下述式5通过关注线La上的第i个亮度值I(xi，yi)和相邻的第i+1个亮度值I(xi+1，yi+1)的差分的绝对值的合计值来评价亮度分布。

[式4]

铅垂对应方向的评价值＝Σ[{I(xi，yi)-I(xi+1，yi+1)}2]

[式5]

铅垂对应方向的评价值＝Σ|I(xi，yi)-I(xi+1，yi+1)|

此外，不限于式5，也可以如下述式6那样，利用阈值t2将相邻的亮度值的属性b进行二值化，关于全部的关注点Pa对该二值化得到的属性b进行总和。

[式6]

铅垂对应方向的评价值＝Σb(xi，yi)

其中，|I(xi，yi)-I(xi+1，yi+1)|＞t2时，

b(xi，yi)＝1

在上述以外的情况时，

b(xi，yi)＝Ｏ

在关注点Pai的亮度值与参照点Pri的亮度值的亮度差的绝对值大于阈值t2的情况下，该关注点Pa(xi，yi)的属性b(xi，yi)为‘1’。在除此以外的关系的情况下，关注点Pai的属性b(xi，yi)为‘0’。该阈值t2是为了判断关注线La不在相同的三维物体上而通过实验等预先设定的。而且，三维物体检测部33a将关于关注线La上的全部关注点Pa的属性b进行总和来求出铅垂对应方向的评价值，由此判断边缘线是否为因三维物体而产生的边缘线、是否存在三维物体。

控制部37a控制三维物体检测部33a对三维物体的检测。具体地说，控制部37a基于由特定亮度峰检测部36检测出的特定亮度峰的数量以及亮度值的大小，针对检测区域A1、A2中的检测出特定亮度峰的区域将上述的边缘阈值t变更为高的值，另外，禁止三维物体的检测，由此抑制三维物体的检测。

另外，控制部37在抑制三维物体检测部33对三维物体的检测时，从白浊度计算部38获取镜头的白浊度，在摄像机10的镜头处于白浊状态的情况下，将抑制三维物体的检测时的抑制度降低。并且，在由路面状态推测部39推测为在路面上形成有水膜的情况下，控制部37将抑制三维物体的检测时的抑制度提高。另外，在由车头灯检测部40检测出邻近车辆V2的车头灯的情况下，控制部37禁止三维物体的检测的抑制。

接着，参照图28说明第2实施方式所涉及的邻近车辆检测方法。图28是表示第2实施方式所涉及的邻近车辆检测方法的详细内容的流程图。此外，在图28中，为了方便，以检测区域A1作为对象来说明处理，但检测区域A2也执行相同的处理。

在步骤S301中，由摄像机10进行由视角a和安装位置所确定的规定区域的拍摄，由计算机30a获取由摄像机10拍摄到的摄像图像P的图像数据。接着，视点变换部31在步骤S302中对所获取到的图像数据进行视点变换，来生成鸟瞰视点图像数据。

接着，在步骤S303中，亮度差计算部41在检测区域A1上设定关注线La。此时，亮度差计算部41将与在实际空间中在铅垂方向延伸的线相当的线设定为关注线La。接着，亮度差计算部41在步骤S304中在检测区域A1上设定参照线Lr。此时，亮度差计算部41将与实际空间中在铅垂方向延伸的线段相当且与关注线La在实际空间中相距规定距离的线设定为参照线Lr。

接着，在步骤S305中，亮度差计算部41在关注线La上设定多个关注点Pa。此时，亮度差计算部41设定在边缘线检测部42检测边缘时不会成为问题的程度的个数的关注点Pa。另外，在步骤S306中，亮度差计算部41将参照点Pr设定成在实际空间中关注点Pa和参照点Pr处于大致相同的高度。由此，关注点Pa和参照点Pr在大致水平方向上排列，容易检测在实际空间中在铅垂方向延伸的边缘线。

接着，在步骤S307中，亮度差计算部41计算在实际空间中处于相同高度的关注点Pa与参照点Pr的亮度差。然后，边缘线检测部42基于由亮度差计算部41计算出的亮度差，按照上述式1计算各关注点Pa的属性s。此外，在本实施方式中，使用用于检测三维物体的边缘的边缘阈值t计算各关注点Pa的属性s。存在该边缘阈值t在后述的三维物体检测控制处理中被变更的情况，在边缘阈值t被变更的情况下，在该步骤S307中使用变更后的边缘阈值。另外，在后述的三维物体检测控制处理中，存在针对检测区域A1、A2中的检测出特定亮度峰的像素区域禁止三维物体的检测的情况下，在这种情况下，在禁止三维物体的检测的区域内，将差分图像PD_t的像素值计算为“0”，由此，禁止三维物体的检测。

接着，在步骤S308中，边缘线检测部42按照上述式2来计算各关注点Pa的属性s的连续性c。然后，在步骤S309中，边缘线检测部42按照上述式3来判断将连续性c的总和标准化得到的值是否大于阈值θ。然后，在判断为标准化得到的值大于阈值θ的情况下(步骤S309＝是)，在步骤S310中，边缘线检测部42将该关注线La检测为边缘线。然后，处理转移到步骤S311。在判断为标准化得到的值不大于阈值θ的情况下(S309＝否)，边缘线检测部42不将该关注线La检测为边缘线，处理转移到步骤S311。

在步骤S311中，计算机30a判断是否关于检测区域A1上可设定的全部关注线La执行了上述的步骤S303～步骤S310的处理。在判断为尚未关于全部的关注线La进行上述处理的情况下(步骤S311＝否)，将处理返回步骤S303，重新设定关注线La，并重复进行步骤S311为止的处理。另一方面，在判断为关于全部的关注线La进行了上述处理的情况下(步骤S311＝是)，处理转移到步骤S312。

在步骤S312中，三维物体检测部33a关于在步骤S310中检测出的各边缘线计算沿着该边缘线的亮度变化。三维物体检测部33a按照上述式4、式5、式6中的任一个来计算边缘线的亮度变化。接着，在步骤S313中，三维物体检测部33a去除边缘线中的亮度变化为规定的阈值tb以上的边缘线。即，判断为亮度变化大的边缘线不是正确的边缘线，在检测三维物体时不使用边缘线。这是为了抑制如上述那样检测区域A1中包含的路面上的文字、路肩的杂草等被检测为边缘线的情形。因而，规定的阈值tb是指预先通过实验等求出的根据因路面上的文字、路肩的杂草等产生的亮度变化而设定的值。另一方面，三维物体检测部33a将边缘线中的亮度变化小于规定的阈值tb的边缘线判断为三维物体的边缘线，由此检测存在于邻近车辆的三维物体。

接着，在步骤S314中，由三维物体检测部33a判断边缘线的量是否为规定的阈值β以上的判断。在此，阈值β是预先通过实验等求出而设定的值，例如在设定四轮车作为检测对象的三维物体的情况下，预先通过实验等基于在检测区域A1内出现的四轮车的边缘线的个数来设定该阈值β。在判断为边缘线的量为阈值β以上的情况下(步骤S314＝是)，三维物体检测部33a判断为在检测区域A1内存在三维物体，进入步骤S315，判断为存在邻近车辆。另一方面，在判断为边缘线的量不为阈值β以上的情况下(步骤S314＝否)，三维物体检测部33a判断为在检测区域A1内不存在三维物体，进入步骤S316，判断为在检测区域A1内不存在邻近车辆。

此外，在第2实施方式中，也与第1实施方式同样地，与图28所示的邻近车辆检测处理并行地执行图21所示的三维物体检测控制处理。而且，在图28所示的邻近车辆检测处理中，按照该三维物体检测控制处理的控制来进行三维物体的检测。此外，在第2实施方式中，在图21所示的三维物体检测控制处理中，进行边缘阈值t的变更以代替变更差分阈值th，除此以外是与第1实施方式所涉及的三维物体检测控制处理相同的处理，因此省略其说明。

如以上那样，在第2实施方式中，在检测区域A1、A2内检测被摄体的边缘并基于该边缘检测邻近车辆V2时，将因在路面反射的街灯等光源产生的亮度的峰检测为特定亮度峰，针对检测区域A1、A2中的检测出特定亮度峰的区域抑制三维物体的检测，由此，在基于边缘来检测邻近车辆V2时，也能够有效防止误将在路面反射的街灯等光源检测为三维物体。

此外，以上说明的实施方式是为了易于理解本发明而记载的，并不是为了限定本发明而记载的。因而，为以下宗旨：上述的实施方式所公开的各要素也包括属于本发明的技术范围的所有设计变更、等同物。

例如，在上述的实施方式中，如图16所示，例示了以下结构：在特定亮度峰的数量为规定的第一判断数以上且小于第二判断数的情况下，根据特定亮度峰的亮度值的大小来变更差分阈值th或边缘阈值t，但是并不限定于该结构，例如，也可以设为以下结构：代替差分阈值th、边缘阈值t或者除了差分阈值th、边缘阈值t以外，对用于检测三维物体的阈值α、阈值β的值进行变更。或者，也可以设为对用于检测边缘线的阈值θ、阈值t2进行变更的结构，还可以设为对阈值tb进行变更的结构。另外，也可以设为以下结构：在特定亮度峰的数量为规定的第一判断数以上且小于第二判断数的情况下，根据特定亮度峰的亮度值的大小，使从各像素输出的像素值或亮度值降低。在这种情况下，在不变更差分阈值th、边缘阈值t的情况下，也能够基于特定亮度峰来抑制三维物体的检测。

并且，在上述的实施方式中，例示了以下结构：在三维物体的移动速度满足规定的条件的情况下，将该三维物体检测为邻近车辆V2，但是并不限定于该结构，例如，也可以设为以下结构：基于特定亮度峰来变更上述的条件，由此抑制邻近车辆V2的检测。例如，在上述的实施方式中，在三维物体的绝对移动速度为10km/h以上且三维物体相对于本车辆V1的相对移动速度为+60km/h以下的情况下，将三维物体判断为邻近车辆V2，但是针对检测出特定亮度峰的区域，例如能够在三维物体的绝对移动速度为20km/h以上且三维物体相对于本车辆V1的相对移动速度为+50km/h以下的情况下，判断为三维物体是邻近车辆V2。

另外，在上述的实施方式中，例示了以下结构：在基于特定亮度峰的检测结果来控制(抑制)三维物体检测部33对三维物体的检测时，仅针对检测区域A1、A2中的检测出特定亮度峰的区域控制三维物体的检测，但是并不限定于该结构，例如，也可以设为以下结构：基于特定亮度峰的检测结果，针对检测区域A1、A2的整体控制(抑制)三维物体的检测。此外，在这种情况下，优选设为以下结构：按检测区域A1、A2分别进行特定亮度峰的检测，仅针对检测出特定亮度峰的检测区域控制(抑制)三维物体的检测。

并且，在上述的实施方式中，例示了以下结构：在特定亮度峰的数量为规定的第二判断数以上的情况下，针对检测出特定亮度峰的区域禁止三维物体检测部33对三维物体的检测，但是并不限定于该结构，例如，也可以设为以下结构：只要检测出一个高亮度的特定亮度峰，就针对检测出高亮度的特定亮度峰的区域禁止三维物体检测部33对三维物体的检测。

另外，除了上述的实施方式以外，也可以设为以下结构：对二阶微分直方图中的亮度梯度的变化量的绝对值进行平均，在该平均值超过规定的基准值的情况下，判断为因在路面反射的街灯等光源产生的亮度的峰存在得多，抑制三维物体检测部33对三维物体的检测。

除此以外，在上述的实施方式中，例示了以下结构：在正在检知邻近车辆V2的情况下，在固定时间内禁止基于特定亮度峰的三维物体检测控制，但是并不限定于该结构，也可以设为以下结构：在正在检知邻近车辆V2的情况下，在固定时间内抑制特定亮度峰的检测。例如，能够设为以下结构：在正在检知邻近车辆V2的情况下，在固定时间内将用于检测特定亮度峰的第一变化量或第二变化量变更为高的值，由此将抑制三维物体的检测时的抑制度降低。另外，在上述的实施方式中，例示了以下结构：基于本车辆V1相对于三维物体的相对移动速度，来判断三维物体是否为正在超越本车辆V1的邻近车辆V2，从而判断是否正在检知邻近车辆V2，但是并不限定于该结构，也可以设为以下结构：将三维物体相对于本车辆V1的相对移动速度或者本车辆V1的绝对移动速度与三维物体的绝对移动速度进行比较，由此判断三维物体是否为正在超越本车辆V1的邻近车辆V2，从而判断是否正在检知邻近车辆V2。

另外，除了上述的实施方式以外，也可以设为以下结构：基于一阶微分直方图来检测因夕阳引起的路面反射，针对产生了因夕阳引起的路面反射的区域抑制三维物体的检测。在此，在夕阳照射到路面的情况下，与街灯等光源在路面反射的情况同样地，有时会在1～2处检测出亮度梯度大的亮度的峰。然而，在夕阳的情况下，与街灯等光源不同，即使时间经过也会在路面的相同位置检测出夕阳，因此在将当前的亮度直方图和前一时刻的亮度直方图的差分生成为一阶微分直方图时，不会检测出因夕阳产生的峰。控制部37能够通过检测这样的亮度的峰来检测出检测区域A1、A2中的夕阳照射到路面的区域。

并且，在上述的实施方式中，例示了以下结构：在由路面状态推测部39推测为在路面上形成有水膜的情况下，将抑制三维物体的检测时的抑制度提高，但是并不限定于该结构，例如，也可以设为以下结构：在由路面状态推测部39推测为在路面上形成有水膜的情况下，抑制车头灯检测部40对邻近车辆V2的车头灯的检测。例如，也可以设为以下结构：在车头灯检测部40将规定面积以上的高亮度区域检测为与邻近车辆V2的车头灯对应的光源时，在由路面状态推测部39推测为在路面上形成有水膜的情况下，将上述规定面积增大，由此抑制车头灯检测部40对邻近车辆V2的车头灯的检测。或者，也可以设为以下结构：在由路面状态推测部39推测为在路面上形成有水膜的情况下，将与邻近车辆V2的车头灯对应的光源的检测对象区域限定为与邻近车道对应的区域，由此抑制车头灯检测部40对邻近车辆V2的车头灯的检测。并且，还可以设为以下结构：在车头灯检测部40将与周围之间的亮度差为规定亮度差以上的规定面积以上的区域检测为与邻近车辆V2的车头灯对应的光源时，基于光源的时间变化来计算光源的移动速度，针对相对于本车辆V1而光源的移动速度慢、逐渐向后方远离本车辆V1的光源，将上述亮度差以及面积增大，由此抑制车头灯检测部40对邻近车辆V2的车头灯的检测。由此，当在路面上形成有水膜而容易检测出在路面反射的街灯等光源时，能够抑制与邻近车辆V2的车头灯对应的光源的检测，其结果，能够抑制三维物体的检测，因此能够有效防止误将在路面反射的街灯等光源检测为三维物体。

此外，上述的实施方式的摄像机10相当于本发明的摄像单元，视点变换部31相当于本发明的图像变换单元，对位部32、三维物体检测部33、33a、亮度差计算部41以及边缘线检测部42相当于本发明的三维物体检测单元，夜间判断部34相当于本发明的夜间判断单元，亮度检测部35相当于本发明的亮度检测单元，特定亮度峰检测部36相当于本发明的亮度峰检测单元，控制部37、37a相当于本发明的控制单元，白浊度计算部38相当于本发明的镜头状态判断单元，三维物体检测部33、33a相当于本发明的移动速度获取单元和三维物体判断单元，路面状态推测部39相当于本发明的路面状态推测单元，车头灯检测部40相当于本发明的光源检测单元。

附图标记说明

1、1a：三维物体检测装置；10：摄像机；20：车速传感器；30、30a：计算机；31：视点变换部；32：对位部；33、33a：三维物体检测部；34：夜间判断部；35：亮度检测部；36：特定亮度峰检测部；37、37a：控制部；38：白浊度计算部；39：路面状态推测部；40：车头灯检测部；41：亮度差计算部；42：边缘线检测部；a：视角；A1、A2：检测区域；CP：交点；DP：差分像素；DW_t、DW_t’：差分波形；DW_t1～DW_m、DW_m+k～DW_tn：小区域；L1、L2：触地线；La、Lb：三维物体倾倒方向上的线；P：摄像图像；PB_t：鸟瞰视点图像；PD_t：差分图像；V1：本车辆；V2：邻近车辆。

Claims (21)

1.一种三维物体检测装置，其特征在于，具备：

摄像单元，其搭载于车辆，具备使本车辆后方的影像成像的镜头；

三维物体检测单元，其基于由上述摄像单元获取到的摄像图像来检测存在于检测区域的三维物体；

夜间判断单元，其判断是否为夜间；

亮度检测单元，其基于上述摄像图像来检测上述检测区域中的多个图像区域的亮度；

亮度峰检测单元，其检测由上述亮度检测单元检测出的上述亮度的峰中的具有规定的基准值以上的亮度梯度的亮度的峰，来作为对象亮度峰；以及

控制单元，其在由上述夜间判断单元判断为是夜间的情况下，针对检测出上述对象亮度峰的图像区域抑制上述三维物体检测单元对上述三维物体的检测。

2.根据权利要求1所述的三维物体检测装置，其特征在于，

还具备路面状态推测单元，该路面状态推测单元推测是否处于在路面上形成有水膜的状态，

在由上述路面状态推测单元推测为处于在路面上形成有水膜的状态的情况下，上述控制单元使抑制上述三维物体的检测时的抑制度升高。

3.一种三维物体检测装置，其特征在于，具备：

摄像单元，其搭载于车辆，具备使本车辆后方的影像成像的镜头；

图像变换单元，其将由上述摄像单元获得的摄像图像视点变换为鸟瞰视点图像；

三维物体检测单元，其将由上述图像变换单元获得的不同时刻的鸟瞰视点图像的位置以鸟瞰视点进行对位，在该对位后的鸟瞰视点图像的差分图像上对示出规定的差分的像素数进行计数并进行频数分布化，由此生成差分波形信息，基于该差分波形信息来检测存在于检测区域的三维物体；

夜间判断单元，其判断是否为夜间；

亮度检测单元，其基于上述摄像图像来检测上述检测区域中的多个图像区域的亮度；

亮度峰检测单元，其检测由上述亮度检测单元检测出的上述亮度的峰中的具有规定的基准值以上的亮度梯度的亮度的峰，来作为对象亮度峰；以及

控制单元，其在由上述夜间判断单元判断为是夜间的情况下，针对检测出上述对象亮度峰的图像区域抑制上述三维物体检测单元对上述三维物体的检测。

4.根据权利要求3所述的三维物体检测装置，其特征在于，

上述三维物体检测单元在上述鸟瞰视点图像的差分图像上对示出规定的第一阈值以上的差分的像素数进行计数并进行频数分布化，由此生成上述差分波形信息，在上述差分波形信息的峰的值为规定的第二阈值以上的情况下，基于上述差分波形信息来检测出上述三维物体，

上述控制单元基于上述对象亮度峰的检测结果将上述第一阈值或上述第二阈值变更为高的值，由此抑制上述三维物体检测单元对上述三维物体的检测。

5.根据权利要求3所述的三维物体检测装置，其特征在于，

在上述三维物体检测单元生成上述差分波形信息时，上述控制单元使上述三维物体检测单元将在上述鸟瞰视点图像的差分图像上对示出规定的差分的像素数进行计数并进行频数分布化得到的值计算得低，由此抑制上述三维物体检测单元对上述三维物体的检测。

6.一种三维物体检测装置，其特征在于，具备：

摄像单元，其搭载于车辆，具备使本车辆后方的影像成像的镜头；

图像变换单元，其将由上述摄像单元获得的摄像图像视点变换为鸟瞰视点图像；

三维物体检测单元，其从由上述图像变换单元获得的上述鸟瞰视点图像检测边缘信息，基于该边缘信息来检测存在于检测区域的三维物体；

夜间判断单元，其判断是否为夜间；

亮度检测单元，其基于上述摄像图像来检测上述检测区域中的多个图像区域的亮度；

亮度峰检测单元，其检测由上述亮度检测单元检测出的上述亮度的峰中的具有规定的基准值以上的亮度梯度的亮度的峰，来作为对象亮度峰；以及

控制单元，其在由上述夜间判断单元判断为是夜间的情况下，针对检测出上述对象亮度峰的图像区域抑制上述三维物体检测单元对上述三维物体的检测。

7.根据权利要求6所述的三维物体检测装置，其特征在于，

上述三维物体检测单元基于上述鸟瞰视点图像来检测相邻的像素区域之间的亮度差为规定的第一阈值以上的边缘成分，在基于上述边缘成分的上述边缘信息的量为规定的第二阈值以上的情况下，基于上述边缘信息来检测出上述三维物体，

上述控制单元基于上述对象亮度峰的检测结果将上述第一阈值或上述第二阈值变更为高的值，由此抑制上述三维物体检测单元对上述三维物体的检测。

8.根据权利要求6所述的三维物体检测装置，其特征在于，

在上述三维物体检测单元检测上述边缘信息时，上述控制单元使上述三维物体检测单元将上述边缘信息输出得低，由此抑制上述三维物体检测单元对上述三维物体的检测。

9.根据权利要求1、3或6所述的三维物体检测装置，其特征在于，

上述控制单元针对检测出上述对象亮度峰的图像区域禁止上述三维物体检测单元对上述三维物体的检测，由此抑制上述三维物体检测单元对上述三维物体的检测。

10.根据权利要求1、3或6所述的三维物体检测装置，其特征在于，

上述控制单元基于上述对象亮度峰的数量和/或上述对象亮度峰的亮度值的大小，来抑制上述三维物体检测单元对上述三维物体的检测。

11.根据权利要求1、3或6所述的三维物体检测装置，其特征在于，

还具备镜头状态判断单元，该镜头状态判断单元基于上述摄像图像来判断上述镜头的脏污度，

上述脏污度越高，则上述控制单元使抑制上述三维物体的检测时的抑制度越低。

12.根据权利要求1、3或6所述的三维物体检测装置，其特征在于，还具备：

移动速度获取单元，其获取上述三维物体的移动速度和本车辆的移动速度；以及

三维物体判断单元，其基于上述三维物体的移动速度和上述本车辆的移动速度，来判断上述三维物体是否为其它车辆，

其中，在由上述三维物体判断单元判断为上述三维物体是上述其它车辆的情况下，上述控制单元使抑制上述三维物体的检测时的抑制度降低。

13.根据权利要求1、3或6所述的三维物体检测装置，其特征在于，

还具备光源检测单元，该光源检测单元基于上述摄像图像来检测与周边之间的亮度差为规定的亮度差以上且具有规定的面积以上的大小的图像区域，来作为与其它车辆的车头灯对应的光源，

在检测出上述光源的情况下，上述控制单元使抑制上述三维物体检测单元对上述三维物体的检测的抑制度降低。

14.根据权利要求3或6所述的三维物体检测装置，其特征在于，

还具备路面状态推测单元，该路面状态推测单元推测是否处于在路面上形成有水膜的状态，

在由上述路面状态推测单元推测为处于在路面上形成有水膜的状态的情况下，上述控制单元使抑制上述三维物体的检测时的抑制度升高。

15.根据权利要求13所述的三维物体检测装置，其特征在于，

还具备路面状态推测单元，该路面状态推测单元推测是否处于在路面上形成有水膜的状态，

在由上述路面状态推测单元推测为处于在路面上形成有水膜的状态的情况下，上述控制单元抑制上述光源检测单元对与上述其它车辆的车头灯对应的光源的检测。

16.根据权利要求14所述的三维物体检测装置，其特征在于，

上述路面状态推测单元基于刮水器的动作状态来判断本车辆周边是否为降雨状态，由此推测是否处于在路面上形成有水膜的状态。

17.根据权利要求15所述的三维物体检测装置，其特征在于，

上述路面状态推测单元基于刮水器的动作状态来判断本车辆周边是否为降雨状态，由此推测是否处于在路面上形成有水膜的状态。

18.根据权利要求14所述的三维物体检测装置，其特征在于，

在刮水器的动作状态从动作频度高的状态变化为动作频度低的状态的情况下，上述路面状态推测单元推测为处于在路面上形成有水膜的状态。

19.根据权利要求14所述的三维物体检测装置，其特征在于，

上述路面状态推测单元将沿着视点变换为上述鸟瞰视点图像时三维物体倾倒的方向的多个判断线中的一个判断线指定为基准判断线，在上述基准判断线上的图像区域的亮度与包括与上述基准判断线相邻的判断线在内的一个或多个比较判断线上的图像区域的亮度之间的亮度差小于规定值的情况下，推测为处于在路面上形成有水膜的状态。

20.一种三维物体检测方法，将摄像图像视点变换为鸟瞰视点图像，将不同时刻的上述鸟瞰视点图像的位置以鸟瞰视点进行对位，在该对位后的鸟瞰视点图像的差分图像上对示出规定的差分的像素数进行计数并进行频数分布化，由此生成差分波形信息，基于该差分波形信息来检测三维物体，该三维物体检测方法的特征在于，

判断是否为夜间，并且基于上述摄像图像来检测多个图像区域的亮度，检测上述亮度的峰中的具有规定值以上的亮度梯度的亮度的峰来作为对象亮度峰，在判断为是夜间的情况下，针对检测出上述对象亮度峰的图像区域抑制上述三维物体的检测。

21.一种三维物体检测方法，将摄像图像视点变换为鸟瞰视点图像，从上述鸟瞰视点图像检测边缘信息，基于该边缘信息来检测三维物体，该三维物体检测方法的特征在于，

判断是否为夜间，并且基于上述摄像图像来检测多个图像区域的亮度，检测上述亮度的峰中的具有规定值以上的亮度梯度的亮度的峰来作为对象亮度峰，在判断为是夜间的情况下，针对检测出上述对象亮度峰的图像区域抑制上述三维物体的检测。