CN104508722A - 车载用周围环境识别装置 - Google Patents

Abstract

车载用周围环境识别装置，具备：拍摄车辆周围的路面来取得摄像图像的摄像部；根据摄像图像识别其他车辆，检测其他车辆相对于车辆的相对速度的应用执行部；根据摄像图像判定有无背景物向路面的映入判定部；根据其他车辆的识别结果控制警报信号的输出的警报控制部；在判定为有背景物向路面的映入时，根据其他车辆的相对速度抑制警报信号的输出的警报抑制调整部。

Description

车载用周围环境识别装置

技术领域

本发明涉及车载用周围环境识别装置。

背景技术

目前，提出了搭载在车辆上，从通过摄像机拍摄而得的图像中检测出其他车辆，在有可能与本车辆碰撞的情况下输出警报的装置。关于这种装置，已知在图像中检测出照明灯的路面反射的区域，将该区域除外来进行处理，由此，即使照明灯的路面反射成为1个且变宽的情况下，也能够准确地检测出车辆的车头以及车尾(专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2007－265016号公报

发明内容

发明要解决的课题

在现有的装置中，在路面湿，反射系数高等情况下，有时将映入路面的背景物误检测为车辆。但是，专利文献1中记载的技术，用于提取出照明灯的路面反射的高亮度区域并防止误检测。因此，无法防止由于将背景物向非高亮度的路面的映入误检测为车辆而在错误的定时输出警报的情况。

用于解决课题的手段

本发明的第1方式的车载用周围环境识别装置，具备：摄像部，其对车辆周围的路面进行拍摄来取得摄像图像；应用执行部，其根据通过摄像部取得的摄像图像，识别在车辆的周围行驶的其他车辆，检测其他车辆相对于车辆的相对速度；映入判定部，其根据摄像图像判定有无背景物向路面的映入；警报控制部，其根据应用执行部的其他车辆的识别结果，控制警报信号的输出；以及警报抑制调整部，其在通过映入判定部判定出有背景物向路面的映入的情况下，根据其他车辆的相对速度，抑制警报信号的输出。

本发明的第2方式，在第1方式的车载用周围环境识别装置中，警报抑制调整部优选使用于映入判定部判定有无背景物向路面的映入的条件根据其他车辆的相对速度而变化，由此调整警报信号的输出的抑制程度。

本发明的第3方式，在第2方式的车载用周围环境识别装置中，具备区域设定部，其在摄像图像中设定背景区域以及映入区域。在该车载用周围环境识别装置中，优选映入判定部优选将摄像图像中背景区域内的图像与摄像图像中映入区域内的图像进行比较，判定其相关性是否在预定的阈值以上，由此判定有无背景物向路面的映入。另外，警报抑制调整部优选使阈值根据其他车辆的相对速度而变化，由此调整警报信号的输出的抑制程度。

本发明的第4方式，在第2方式的车载用周围环境识别装置中，具备：区域设定部，其在摄像图像中设定背景区域以及映入区域；以及特征量计算部，其在摄像图像中背景区域内的图像和摄像图像中映入区域内的图像中分别检测满足预定的检测条件的边缘，针对背景区域和映入区域分别计算与检测出的边缘对应的特征量。在该车载用周围环境识别装置中，映入判定部优选将背景区域的特征量与映入区域的特征量进行比较，由此判定有无背景物向路面的映入。另外，警报抑制调整部优选使检测条件根据其他车辆的相对速度而变化，由此调整警报信号的输出的抑制程度。

本发明的第5方式，在第1方式的车载用周围环境识别装置中，警报抑制调整部优选使用于应用执行部识别其他车辆的条件根据其他车辆的相对速度而变化，由此调整警报信号的输出的抑制程度。

本发明的第6方式，在第5方式的车载用周围环境识别装置中，应用执行部优选判定基于在摄像图像中设定的检测区域内的图像的图像信息值是否在预定的阈值以上，由此识别其他车辆。另外，警报抑制调整部优选使阈值根据其他车辆的相对速度而变化，由此调整警报信号的输出的抑制程度。

本发明的第7方式，在第5方式的车载用周围环境识别装置中，应用执行部优选在基于在摄像图像中设定的检测区域内的图像的图像信息值满足预定的检测条件的情况下，将该图像信息值作为检测对象来检测，根据检测出的图像信息值识别其他车辆。另外，警报抑制调整部优选使检测条件根据其他车辆的相对速度而变化，由此调整警报信号的输出的抑制程度。

本发明的第8方式，在第1方式的车载用周围环境识别装置中，警报抑制调整部优选当映入判定部判定为有背景物向路面的映入，并且此后判定为无背景物向路面的映入时，根据其他车辆的相对速度，延长进行警报信号的输出的抑制，由此调整警报信号的输出的抑制程度。

本发明的第9方式，在第1至第8的任一方式的车载用周围环境识别装置中，警报抑制调整部优选在其他车辆的相对速度满足和不满足预定的速度条件的情况下，使警报信号的输出的抑制程度变化。

本发明的第10方式，在第9方式的车载用周围环境识别装置中，速度条件优选包含其他车辆的相对速度在预定范围内、以及其他车辆的相对速度的变动在预定范围内的至少任意一方。

本发明的第11方式的车载用周围环境识别装置，具备：摄像部，其对车辆周围的路面进行拍摄来取得摄像图像；应用执行部，其根据通过摄像部取得的摄像图像，识别在车辆的周围行驶的其他车辆；以及映入判定部，其区别摄像图像的背景区域和映入区域，根据这些区域的图像特征的相关性，判定有无背景物向路面的映入，在通过映入判定部判定为有背景物向路面的映入的情况下，抑制通过应用执行部进行的其他车辆的识别。

发明效果

根据本发明，可以防止由于将背景物向路面的映入误检测为车辆而在错误的定时输出警报。

附图说明

图1是表示本发明的一个实施方式的车载用周围环境识别装置的结构的框图。

图2是表示摄像机的摄像区域的图。

图3是表示摄像机的安装位置的例子的图。

图4是与路面映入时的警报抑制有关的控制框图。

图5是第一实施方式中在路面映入时的警报抑制中执行的处理的流程图。

图6是表示在摄像图像中设定的背景区域以及映入区域的例子的图。

图7是表示区域设定部的功能块的例子的图。

图8是表示特征量计算部的功能块的例子的图。

图9是表示映入判定部的功能块的例子的图。

图10是表示应用执行部的功能块的例子的图。

图11是说明三维的路面区域以及背景区域的设定的图。

图12是用于说明通过第一实施方式得到的误警报的减少效果的图。

图13是用于说明其他车辆识别处理的车辆的概要结构图。

图14是表示图13的车辆的行驶状态的平面图(基于差分波形信息的立体物检测)。

图15是表示其他车辆识别部的细节的框图。

图16是用于说明图15的位置对准部的处理的概要的图，图16(a)是表示车辆的移动状态的平面图，图16(b)是表示位置对准的概要的图像。

图17是表示图15的立体物检测部的差分波形的生成的样子的概要图。

图18是表示通过图15的立体物检测部分割的小区域的图。

图19是表示通过图15的立体物检测部得到的直方图的一例的图。

图20是表示图15的立体物检测部的加权的图。

图21是表示图15的弥散(smear)检测部的处理以及由其进行的差分波形的计算处理的图。

图22是表示通过图15的立体物检测部得到的直方图的其他例子的图。

图23是表示通过图15的视点变换部、位置对准部、弥散检测部以及立体物检测部执行的、使用差分波形信息的立体物检测方法的流程图(其一)。

图24是表示通过图15的视点变换部、位置对准部、弥散检测部以及立体物检测部执行的、使用差分波形信息的立体物检测方法的流程图(其二)。

图25是表示图13的车辆的行驶状态的图(基于边缘信息的立体物检测)，图25(a)是表示检测区域等的位置关系的平面图，图25(b)是表示实际空间中的检测区域等的位置关系的立体图。

图26是用于说明图15的亮度差计算部的动作的图，图26(a)是表示俯视图像中的关注线、参照线、关注点以及参照点的位置关系的图，图26(b)是表示实际空间中的关注线、参照线、关注点以及参照点的位置关系的图。

图27是用于说明图15的亮度差计算部的详细动作的图，图27(a)是表示俯视图像中的检测区域的图，图27(b)是表示俯视图像中的关注线、参照线、关注点以及参照点的位置关系的图。

图28是表示边缘线和边缘线上的亮度分布的图，图28(a)是表示在检测区域中存在立体物(车辆)的情况下的亮度分布的图，图28(b)是表示在检测区域中不存在立体物的情况下的亮度分布的图。

图29是表示通过图15的视点变换部、亮度差计算部、边缘线检测部以及立体物检测部执行的使用边缘信息的立体物检测方法的流程图(其一)。

图30是表示通过图15的视点变换部、亮度差计算部、边缘线检测部以及立体物检测部执行的使用边缘信息的立体物检测方法的流程图(其二)。

图31是表示用于说明边缘检测动作的图像例的图。

图32是用于说明在检测区域内形成了水膜的状态的图。

图33是用于说明在检测区域内形成了水膜的情况下的图像信息的图。

图34(A)是表示在检测区域内存在其他车辆的情况下的差分波形信息的一例的图，图34(B)是表示在检测区域内不存在其他车辆，形成了水膜的情况下的差分波形信息的一例的图。

图35是表示考虑到虚像的存在的立体物判断的控制步骤的第一流程图。

图36是表示考虑到虚像的存在的立体物判断的控制步骤的第二流程图。

图37是表示考虑到虚像的存在的立体物判断的控制步骤的第三流程图。

图38是表示考虑到虚像的存在的立体物判断的控制步骤的第四流程图。

图39是表示考虑到虚像的存在的立体物判断的控制步骤的第五流程图。

图40是在第二实施方式中在路面映入时的警报抑制中执行的处理的流程图。

图41是用于说明由第二实施方式得到的误警报的减少效果的图，表示了使用方法(A)调整作为立体物的检测条件的阈值，由此调整警报抑制程度的情况的例子。

图42是用于说明由第二实施方式得到的误警报的减少效果的图，表示了使用方法(A)调整作为图像信息值的取得条件的阈值，由此调整警报抑制程度的情况的例子。

图43是用于说明由第二实施方式得到的误警报的减少效果的图，表示了使用方法(B)调整警报抑制程度的情况的例子。

图44是用于说明由第二实施方式得到的误警报的减少效果的图，表示了使用方法(C)调整警报抑制程度的情况的例子。

图45是用于说明由第二实施方式得到的误警报的减少效果的图，表示了组合使用方法(A)和方法(C)调整警报抑制程度的情况的例子。

具体实施方式

(第一实施方式)

图1是表示本发明的一个实施方式的车载用周围环境识别装置100的结构的框图。图1所示的车载用周围环境识别装置100被安装在车辆上来使用，具备摄像机1、控制部2、警报输出部3和动作状态报知部4。

摄像机1朝向车辆的后方而设置，每隔预定的时间间隔，对包含车辆后方的路面的摄像区域内的图像进行拍摄。在该摄像机1中使用例如CCD或CMOS等摄像元件。通过摄像机1取得的摄像图像从摄像机1输出到控制部2。

图2是表示摄像机1的摄像区域的图，表示出从横向看摄像机1的样子。摄像机1在该摄像区域中对包含车辆后方的路面的图像进行拍摄。在此，将摄像机1的摄像区域(视场角)设定得比较宽，以便能够针对左右方向在足够宽的范围内拍摄车辆后方的路面。

图3是表示摄像机1的安装位置的例子的图。在本车辆的后方部分，在车体20上设置了号码牌21。在该号码牌21的正上方位置向斜下方安装了摄像机1。此外，在此所示的安装位置只不过是一个例子，也可以在其他位置安装摄像机1。在侧置摄像机或前置摄像机中也可以利用本方法。

控制部2使用来自摄像机1的摄像图像进行预定的图像处理，并进行与其处理结果对应的各种控制。通过该控制部2进行的控制，在车载用周围环境识别装置100中实现例如被称为车道识别、其他车辆识别、步行者检测、标识检测、卷入防止检测、停车框识别、移动体检测的各种功能。

警报输出部3是用于对车辆的驾驶者输出基于警报灯或警报蜂鸣器等的警报的部分。该警报输出部3的动作由控制部2控制。例如，在前述的车道识别中判断出本车辆从行驶中的车道脱离的情况下，或者在其他车辆检测、步行者检测、卷入防止、移动体检测等中检测出有可能与本车辆碰撞的车辆的情况下，根据控制部2的控制从警报输出部3输出警报。

动作状态报知部4是用于向车辆的驾驶者报知车载用周围环境识别装置100的动作状态的部分。例如，在不满足预定的动作条件，车载用周围环境识别装置100为非动作状态的情况下，通过控制部2的控制，使作为动作状态报知部4而设置在车辆的驾驶席附近的灯点亮。由此，向驾驶者报知车载用周围环境识别装置100为非动作状态。

接下来，说明在车载用周围环境识别装置100中进行的路面映入时的警报抑制。在通过前述的其他车辆识别部或步行者检测部、移动体检测部等检测出物体时，在路面湿，反射系数高等情况下，有时摄像图像的背景部分中的各种背景物会映入在路面上形成的水膜等中。这种情况下，有时会将映入路面的背景物误检测为识别对象物，在错误的定时输出对驾驶者的警报。因此，在车载用周围环境识别装置100中判定有无这种由于水膜等引起的背景物向路面的映入，在判定为有映入的情况下抑制警报的输出。由此，防止由于将背景物向路面的映入误检测为其他车辆而在错误的定时输出警报。

图4是与路面映入时的警报抑制有关的控制部2的控制框图。控制部2，关于路面映入时的警报抑制，具有区域设定部201、特征量计算部202、映入判定部203、应用执行部204、警报控制部205以及警报抑制调整部206的各控制块。在控制部2中，例如通过用微型计算机执行与这些各控制块对应的程序，实现了图4的各控制块。

区域设定部201对通过摄像机1取得的摄像图像，在左右分别各设定多个相当于背景部分的背景区域、和与该背景区域对应的路面上的映入区域。图7是表示区域设定部201的功能块的例子的图。如图7所示，区域设定部201例如由路面区域设定部201a、背景横位置设定部201b、反射背景区域设定部201c以及图像区域变换部201d构成。

在区域设定部201中，对于通过摄像机1取得的摄像图像，通过路面区域设定部201a设定在其他车辆识别中使用的邻接车道的路面区域。图11是说明三维的路面区域以及背景区域的设定的图。在路面区域设定部201a中，如图11所示，为了检测邻接车道的车辆，以本车辆摄像机位置为中心来设定左右的处理区域110、111，并分别设定多个将车辆检测的路面区域进一步分割而得的局部区域。在该路面区域设定后，本车辆摄像机位置和路面区域的三维位置是已知的，因此，利用入射角和反射角相等的镜面反射的性质，通过反射背景区域设定部201c确定会映入路面的背景位置。但是，虽然能够计算从本车辆摄像机通过路面进行镜面反射后的矢量方向，但是无法确定其是从本车辆摄像机起哪个横位置的背景。即，映入路面的背景是很近的障碍物还是距离20m的路灯是未知数。因此，假定在背景横位置设定部201b中设置某规定值来设定横位置。在映入背景能够以某种程度缩小范围的条件下，通过动态地指定该横位置，可以更高精度地判定水膜映入。但是，即使设置某规定值，处理区域的少量偏差也是能够允许的。在反射背景区域设定部201c中，如图11所示决定横位置112，假定在此立起大的壁113，将之前求出的路面局部区域的各顶点处的反射矢量延长，推定与壁113相接触的三维位置114。由此，实施反射背景区域的推定计算。最后，由于在此前的说明中是以本车辆为中心的世界坐标下的推定计算，因此，在图像区域变换部201d中针对各个区域实施在图像上成为哪个位置的计算。

特征量计算部202针对通过区域设定部201设定的各背景区域以及各映入区域，分别计算表示这些各区域内的图像的特征的特征量。图8是表示特征量计算部202的功能块的例子的图。如图8所示，特征量计算部202例如由路面边缘角度直方图提取部202a、白线边缘角度推定部202b、背景边缘角度直方图提取部202c、背景路面边缘角度相关性推定部202d以及背景路面立体物边缘推定部202e构成。

映入判定部203根据通过特征量计算部202计算出的特征量，将摄像图像中各背景区域内的图像与摄像图像中各映入区域内的图像，在对应的图像间分别比较。根据该比较结果判定有无背景物向路面的映入，在判定为有映入的情况下，向警报控制部205通知该意思。图9是表示映入判定部203的功能块的例子的图。如图9所示，映入判定部203例如由边缘强度解析部203a、白线边缘抑制部203b、立体物边缘强调部203c、按局部区域区别相关性解析部203d以及按左右区别相关性解析部203e构成。

图10是表示应用执行部204的功能块的例子的图。如图10所示，应用执行部204例如由车道识别部204a、其他车辆识别部204b、步行者检测部204c、标识检测部204d、卷入防止识别部204e、停车框识别部204f、移动体检测部204g构成。

车道识别部204a根据通过摄像机1取得的摄像图像识别本车辆左右的车道。从摄像图像中提取白线特征量，并提取出该白线特征量排列的直线，最终根据图像上的线计算世界坐标中的本车辆与白线的相对位置、相对姿态，判定是否脱离到车道外。在预测出脱离车道的情况下，对警报控制部205进行警报输出的指示。

其他车辆识别部204b根据通过摄像机1取得的摄像图像，识别在本车辆的左后方或右后方存在的其他车辆。此时，应用执行部204通过执行在后面详细说明的其他车辆识别处理，根据基于在摄像图像中设定的检测区域内的图像的图像信息值识别其他车辆，并且检测识别出的其他车辆相对于本车辆的相对速度。根据该其他车辆的识别结果，应用执行部204判断有无有可能与本车辆碰撞的其他车辆。例如，在本车辆已开始变更车道，在该车道变更方向上存在的其他车辆正在接近本车辆的情况下，判断为有可能与本车辆碰撞，对警报控制部205进行警报输出的指示。

步行者检测部204c根据通过摄像机1取得的摄像图像，从摄像图像中检测步行者。在本车辆行驶方向上检测有可能碰撞的步行者，在有可能碰撞的情况下输出警报。

标识检测部204d根据通过摄像机1取得的摄像图像，从摄像图像中检测标识，并通过声音或显示器显示向用户传达标识的种类。

卷入防止识别部204e根据通过摄像机1取得的摄像图像，识别在交叉点拐弯时是否存在卷入的2轮车等，在有可能与本车辆接触的情况下输出警报。

停车框识别部204f以自动停车或停车辅助为目的来识别停车框，根据停车框的位置、姿态，实施用于对本车辆进行停车的辅助或控制。

移动体检测部204g根据通过摄像机1取得的摄像图像，识别低车速时的本车辆周围的移动体。在从摄像图像中检测出移动体并根据移动方向和本车行为判定出接触的可能性高的情况下，对警报控制部205进行警报输出的指示。

警报控制部205根据来自应用执行部204的指示，向警报输出部3输出警报输出信号。通过该警报输出信号的输出，从警报输出部3对驾驶者输出警报。通过以上说明的应用执行部204以及警报控制部205的动作，在车载用周围环境识别装置100中，在有障碍物等的碰撞的危险的情况下实现警报。

此外，警报控制部205在从映入判定部203接收到有映入的通知的情况下，停止对警报输出部3输出警报输出信号。此时，即使从应用执行部204进行警报输出的指示，也不从警报控制部205向警报输出部3输出警报输出信号。由此，在有背景物向路面的映入时，抑制警报输出部3的警报输出。

警报抑制调整部206根据在应用执行部204中通过其他车辆识别部204b检测出的其他车辆的相对速度，调整上述警报控制部205进行的警报输出的抑制程度。即，在其他车辆的相对速度比较小的情况下，认为映入路面的背景物被误识别为其他车辆的可能性高。因此，在此情况下，通过警报抑制调整部206提高警报输出的抑制程度，由此，使背景物的映入引起的误警报更进一步难以发生。此外，关于该警报抑制调整部206进行的警报输出的抑制程度的具体调整方法，在后面进行说明。

图5是以上说明的路面映入时的警报抑制中执行的处理的流程图。该流程图所示的处理，在应用程序(应用)的执行过程中，在控制部2中以预定的处理周期来进行。

在步骤S110中，控制部2使用摄像机1对包含车辆的周围的路面的预定的摄像区域内进行拍摄，取得摄像图像。该摄像图像从摄像机1输出到控制部2，用于以后的处理中。

在步骤S120中，控制部2在步骤S110中取得的摄像图像中设定背景区域以及映入区域。在此，作为在后方车道检测、后侧方车辆识别、卷入防止识别中利用的例子，通过区域设定部201在摄像图像内的预定部分分别各设定多个背景区域以及映入区域。此外，若是步行者检测、标识检测，则以前置摄像机的利用为前提。关于车道识别、其他车辆识别、移动体检测，可以利用前摄像机、侧置摄像机、后置摄像机的任意一个。卷入防止、停车框识别，可以使用侧摄像机、后摄像机的任意一个。无论利用哪个摄像机，关于基本的方法和思路，都能够直接应用。

图6是表示在摄像图像中设定的背景区域以及映入区域的例子的图。图6所示的摄像图像30被分为拍摄了路面的路面图像区域32和背景图像区域33。在步骤S120中，如图6所示，对该摄像图像30在与车辆的右后方(后摄像机的情况)或左前方(前摄像机的情况)对应的位置设定背景区域34a～34f以及映入区域35a～35f，在与左后方(后摄像机的情况)或右前方(前摄像机的情况)对应的位置设定背景区域36a～36f以及映入区域37a～37f。在路面区域设定部201a中如此设定右或左的邻接车道的映入区域35a～35f、左或右的邻接车道的映入区域37a～37f。另外，在反射背景区域设定部201c中设定右或左的背景区域34a～34f、右或左的背景区域36a～36f。

在背景图像区域33内，沿着对应于车辆的行驶而产生的摄像图像30中的背景物的位置变化的方向，在左右对称的位置分别设定背景区域34a～34f以及36a～36f。与该背景区域34a～34f以及36a～36f分别对应地在路面图像区域32内设定映入区域35a～35f以及37a～37f。例如，在摄像图像30内，在左右端侧、即在实际空间上离车辆最近侧的位置设定的背景区域34a、36a分别对应于映入区域35a、37a。另外，在摄像图像30内靠中央、即实际空间中离车辆最远侧的位置设定的背景区域34f、36f分别对应于映入区域35f、37f。这样，在路面图像区域32内分别设定映入区域35a～35f、37a～37f，相对于这些各映入区域，在产生背景物的映入的背景图像区域33内的位置分别设定背景区域34a～34f、36a～36f。此外，在摄像图像30中，映入区域35a～35f以及37a～37f的设定位置优选设为与进行应用的检测的区域、例如其他车辆识别部204b识别在本车辆的左后方或右后方存在的其他车辆时使用的检测区域对应的位置。

在步骤S130中，控制部2通过应用执行部204的其他车辆识别部204b进行用于识别在本车辆的周围行驶的其他车辆的其他车辆识别处理。通过该其他车辆识别处理，在本车辆的左后方或右后方存在其他车辆的情况下，识别该其他车辆，并且检测该其他车辆相对于本车辆的相对速度。此外，关于在此执行的其他车辆识别处理的具体内容，在后面详细说明。

在步骤S140中，控制部2判定通过步骤S130的其他车辆识别处理是否识别出本车辆的左后方(右前方)或右后方(左前方)存在的其他车辆。在识别出其他车辆的情况下前进到步骤S150，在未识别出的情况下前进到步骤S170。

在步骤S150中，控制部2判定在步骤S130的其他车辆识别处理中检测出的其他车辆的相对速度是否在预定范围内，例如时速0～10km的范围内。在其他车辆的相对速度在该范围内的情况下前进到步骤S160，在范围外的情况下前进到步骤S170。

在步骤S160中，控制部2通过警报抑制调整部206执行警报抑制程度的调整。在此，通过放宽用于在后述的步骤S180中判定有无背景物向路面的映入的条件，使得容易得到有映入的判定结果，提高与此对应地进行的警报输出的抑制的时间程度(频度)。由此，调整警报抑制程度，使得在其他车辆的相对速度在预定范围内的情况下，比除此以外的情况下更容易进行警报抑制。此外，关于放宽用于判定有无背景物的映入的条件的具体方法，在后面详细说明。

在步骤S170中，控制部2通过特征量计算部202对步骤S120中设定的背景区域34a～34f以及36a～36f和映入区域35a～35f以及37a～37f分别计算表示在这些各区域内的图像的特征的特征量。例如，关于与背景区域34a～34f、36a～36f分别对应的图像的各像素、与映入区域35a～35f、37a～37f分别对应的图像的各像素，分别根据其周围的各像素的亮度来计算摄像图像30内的边缘角度。将如此计算出的各像素的边缘角度针对各区域进行直方图化，由此可以计算与各区域的图像的边缘角度对应的各区域的特征量。此外，只要能够恰当地表示各区域中的图像的特征，特征量的计算方法不限于此。

通过图8的功能框图说明特征量计算部202的详细处理。首先，在路面边缘角度直方图提取部202a中，关于在路面的每个局部区域中设定的映入区域35a～35f、37a～37f分别提取表示亮度的梯度方向的矢量的角度，作为边缘角度。在此，针对各映入区域内的各像素提取边缘角度，将其针对每个映入区域进行直方图化，由此调查各映入区域内的边缘角度的分布。在该边缘角度的直方图中包含路面的白线边缘角度成分的可能性比较高。但是，在后述的步骤S180中取得背景区域和路面的映入区域的相关的情况下，已知白线仅在路面上，因此，除去白线的边缘角度成分来取得相关的话，相关性的精度提高。因此，在白线边缘角度推定部202b中推定各映入区域中的白线的边缘角度。该推定结果，在后面步骤S180的处理中取得背景区域与映入区域的相关时，被用于与映入区域对应的白线的边缘角度成分的抑制。接着，在背景边缘角度直方图提取部202c中，针对在背景的每个局部区域中设定的背景区域34a～34f、36a～36f分别与映入区域同样地提取边缘角度，并针对每个区域进行直方图化。在背景路面边缘角度相关性推定部202d中，针对互相对应的每个背景区域和映入区域，推定背景的边缘角度和路面的边缘角度的对应。在此，例如生成对应表，其记载在背景区域中存在角度45度的边缘的情况下，当该边缘映入路面时，在对应的映入区域中成为图像上多少度的边缘角度。最后，针对最容易成为误检测原因的立体物的背景和路面的边缘角度，在背景路面立体物边缘推定部202e中，与上述的对应表不同地，也针对互相对应的每个背景区域和映入区域进行推定并记录其推定结果。

在步骤S180中，控制部2通过映入判定部203，根据在步骤S170中计算出的各区域的特征量，进行用于判定有无背景物向路面的映入的映入判定。在此，首先将针对背景区域34a～34f、36a～36f分别计算出的特征量和针对映入区域35a～35f、37a～37f分别计算出的特征量，分别以对应的特征量彼此进行比较。例如，将背景区域34a的特征量和与其对应的映入区域35a的特征量进行比较，将背景区域36a的特征量和与其对应的映入区域37a的特征量进行比较。另外，将背景区域34f的特征量和与其对应的映入区域35f的特征量进行比较，将背景区域36f的特征量和与其对应的映入区域37f的特征量进行比较。关于其他背景区域以及映入区域，也同样以对应的特征量彼此分别比较。通过如此分别比较各背景区域和各映入区域的特征量，将各背景区域内的图像和各映入区域内的图像分别比较，针对其每个组合解析相关性。

通过图9的功能框图说明映入判定部203的详细处理。在此，想要判定路面中的映入的理由是为了在由于路面的反射而发生了背景物的映入的情况下抑制其引起的误检测。即，若路面的边缘强度弱，则车道识别、其他车辆识别、步行者检测等中本来不发生误检测。另外，在背景的边缘强度低的情况下，本来不存在映入背景的物体的可能性高，因此，不存在映入路面的物体的可能性高。因此，在实施映入判定前，通过边缘强度解析部203a解析在路面中、背景中都具有相应的边缘分布。接着，在白线边缘抑制部203b中，利用在步骤S170中推定的前述的白线边缘角度，从路面的映入区域的边缘角度的直方图中，抑制白线边缘角度附近的直方图的大小。例如，针对以白线边缘角度为中心的预定的角度范围，在取得与背景的相关性之前，通过白线边缘抑制部203b执行将实际的直方图的高度乘以0.3倍来减小白线的影响的预处理。由此，可以减小作为映入误判定原因的白线的影响。

然后，通过立体物边缘强调部203c从边缘角度直方图中，在通过背景路面立体物边缘推定部202e推定的背景区域中，针对立体物边缘角度，将直方图对应的部分的高度加倍来强调，在路面映入区域中，针对立体物映入边缘角度，将直方图对应的部分的高度加倍来强调。由此，可以看到立体物的边缘角度的相关性，因此，应用的识别逻辑能够稳定地获得容易误检测的立体物边缘的相关性。

然后，在按局部区域区别相关性解析部203d中，解析对应的路面映入区域和背景区域的边缘角度直方图的相关性。

此外，在上述的特征量的比较中，优选考虑映入引起的边缘角度的变化，将作为各区域的特征量而算出的所述边缘角度的直方图彼此进行比较。即，预先在背景路面边缘角度相关性推定部202d中计算出各背景区域的边缘角度的直方图中的排列位置，在各映入区域的边缘角度的直方图中与哪个排列位置对应，基于该计算结果进行两直方图的比较。如此一来，针对表示各背景区域的特征量的边缘角度的直方图和表示各映入区域的特征量的边缘角度的直方图，能够反映映入状态来正确地解析相关性。局部区域中的相关性的检查，从画面左侧起，在映入区域35a和背景区域34a的对应的处理区域间进行比较。接着，在映入区域35b和背景区域34b、映入区域35c和背景区域34c、映入区域35d和背景区域34d、映入区域35e和背景区域34e、映入区域35f和背景区域34f中分别解析在路面映入和对应的背景区域的特征量中是否有相关性。同样，从画面右侧起，也在映入区域37a和背景区域36a、映入区域37b和背景区域36b、映入区域37c和背景区域36c、映入区域37d和背景区域36d、映入区域37e和背景区域36e、映入区域37f和背景区域36f中分别解析相关性。

如上所述那样在各背景区域和各映入区域的对应的区域彼此间分别比较特征量。即，在画面左侧，将针对各背景区域34a～34f计算出的特征量与路面的映入区域35a～35f进行比较。在画面右侧，也同样地将针对各背景区域36a～36f计算出的特征量与路面的映入区域37a～37f进行比较。针对这些区域，将附加了相同字母角标的区域彼此进行比较。

接着，在按左右区别相关性解析部203e中，在画面的左右分别汇集背景区域和映入区域来解析相关性。首先，确定根据本车的移动，在背景区域和路面的映入区域的双方中特征量是否分别向后方移动。例如，在画面左侧的映入区域35b中存在表示角度45度的边缘角度的情况下，假定在下一帧中该特征量向后方移动，例如在映入区域35e中也有同样的倾向。另外，假定在背景中存在相关性高的背景的边缘角度，其也按时序从背景区域34b移动到背景区域34e。在这种情况下，判断出产生背景物向路面的映入的可能性高。

另外，在背景区域和路面的映入区域的局部的相关性以外，还判定有无特征量、关于纵深方向分别是否具有相关性。例如，在画面左侧，若仅在背景区域34b和映入区域35b中有相关性，在其他区域中尽管有特征量但是相关性低，则认为存在偶然具有相关性的局部区域的可能性高。相反，若仅在背景区域34b和映入区域35b中具有相关性，在其他区域中为背景区域、路面映入区域各自的特征量少而未取得相关性的状态，则其可以说画面左侧的路面映入发生的可能性高，画面左侧的相关性高。在每个局部区域的相关性之后，以这样左右区别地观察到的局部区域的相关性的排列方式和运动方式为参考，解析按左右区别的相关性，实施按左右区别的路面映入的判定。

在步骤S180中，进行以上说明的各区域的特征量的比较，根据其比较结果，在背景区域34a～34f和映入区域35a～35f之间、以及背景区域36a～36f和映入区域37a～37f之间分别判定是否有背景物的映入。例如，在背景区域34a～34f和映入区域35a～35f之间的相关性分别足够高，并且背景区域组34a～34f内的各图像与映入区域组35a～35f内的各图像整体上向相对于车辆远离的方向移动的情况下，判定为在车辆的右后方有背景物向路面的映入。同样地，在背景区域36a～36f和映入区域37a～37f之间的相关性分别足够高，并且背景区域组36a～36f内的各图像和映入区域组37a～37f内的各图像整体上向相对于车辆远离的方向移动的情况下，判定为在车辆的左后方有背景物向路面的映入。

此外，在所述步骤S160中，通过使得在步骤S180中如上述那样比较各区域的特征量并根据其相关性判定有无背景物向路面的映入时的基准值变化，可以进行警报抑制程度的调整。即，在上述步骤S180中，若背景区域34a～34f和映入区域35a～35f之间、以及背景区域36a～36f和映入区域37a～37f之间，特征量的相关性在预定的阈值以上，则视为这些各区域内的图像间的相关性高，判定为有背景物的映入。在步骤S160中，通过降低与该相关性对应的阈值，可以放宽用于在步骤S180中判定有无背景物的映入的条件，调整警报抑制程度，使得在后述的步骤S200中容易进行警报抑制。

另外，在所述步骤S160中，通过使在步骤S170中计算各区域的特征量时的条件、更具体来说使边缘的检测条件变化，也能够进行警报抑制程度的调整。即，在上述步骤S170中，针对背景区域34a～34f以及36a～36f和映入区域35a～35f以及37a～37f的各区域，将附近像素间的亮度差在预定值以上的部分检测为边缘并将该边缘角度进行直方图化，由此计算各区域的特征量。在步骤S160中，通过将作为该边缘检测条件的亮度差降低来检测更多的边缘成分，能够放宽用于在步骤S180中判定有无背景物的映入的条件，调整警报抑制程度使得在后述的步骤S200中容易进行警报抑制。

此外，在步骤S160中调整警报抑制程度时，上述步骤S180中的与相关性对应的阈值的变化、上述步骤S170中的边缘检测条件的变化可以分别单独进行，也可以双方配合执行。

在步骤S190中，控制部2根据步骤S180的映入判定的结果，判定有无背景物向路面的映入。在步骤S180中判定出在车辆的左后方以及右后方的任意一方中有背景物向路面的映入的情况下，从步骤S190进入步骤S200。另一方面，在步骤S180中判定出在车辆的左右后方都没有背景物向路面的映入的情况下，不执行步骤S200而结束图5的流程。

在步骤S200中，控制部2停止对警报输出部3输出警报输出信号。此时，控制部2通过从映入判定部203对警报控制部205进行预定的通知，停止从警报控制部205向警报输出部3的警报输出信号，抑制警报输出部3的警报的输出。由此，在本车辆的左后方或右后方映入路面的背景物，通过应用执行部204被误检测为有可能与本车辆碰撞的其他车辆的情况下，也不会错误地从警报输出部3输出警报。此外，在步骤S200中，优选仅针对车辆的左后方以及右后方中在步骤S180中判定为有背景物向路面的映入的一方停止警报的输出。在执行步骤S200后，控制部2结束图5的流程。

另外，与上述同样地，在车道识别部204a中判定出识别结果的横位置不稳定并且判定出映入的情况下，通过抑制利用了车道识别的车道脱离时的警报，也得到抑制误警报的效果。

另外，在步行者检测部204c中也有可能将映入误检测为移动体，因此，通过抑制警报的输出得到抑制误警报的效果。在标识检测部204d中也有可能将映入误检测为标识，因此，通过抑制警报的输出得到抑制误警报的效果。在卷入防止识别部204e中也有可能将映入误检测为障碍物，因此，通过抑制警报的输出得到抑制误警报的效果。在停车框识别部204f中也有可能由于映入而导致停车框的位置不稳定或者误识别，因此，通过利用停车框的应用程序的停止，抑制误控制等。

另外，在移动体检测部204g中也有可能将映入误检测为移动体，因此，通过抑制警报的输出得到抑制误警报的效果。

图12是用于说明通过以上说明的本实施方式的车载用周围环境识别装置100得到的误警报的减少效果。在此，举例表示出例如在其他车辆的相对速度发生图12(a)所示的变化的情况下，通过所述的警报抑制调整部206进行的警报输出的抑制程度的调整，来自警报输出部3的警报的输出定时如何变化。在图12的例子中，图12(a)所示的其他车辆的相对速度在从时刻Tv1到时刻Tv2之间在图5的步骤S150中说明的那样的预定范围内，除此以外的情况下在范围外。

警报抑制调整部206在从上述的时刻Tv1到时刻Tv2的期间，执行所述警报输出的抑制程度的调整，放宽用于判定有无背景物向路面的映入的条件。由此，在映入判定部203中容易得到有映入的判定结果。其结果，例如如图12(b)所示，被判定为无映入的定时从时刻Tr4向时刻Tr4a移动，得到有映入的判定结果的期间被延长。此外，图12(b)中虚线所示的部分，表示了不执行警报输出的抑制程度的调整的情况下得到的背景物向路面的映入的判定结果的例子。

在此，假定在通过应用执行部204的其他车辆识别部204b执行的其他车辆识别处理中得到图12(c)的符号50所示的图像信息值。当该图像信息值50超过阈值Th0时，被识别为其他车辆。在图12(c)的例子中，在时刻To1到时刻To2的期间，图像信息值50超过了阈值Th0，因此，在该期间内被识别为其他车辆。

警报输出部3根据来自警报控制部205的警报输出信号，在图12(d)所示的定时进行警报输出。该警报输出的定时是在图12(b)中被判定为有映入，并且在图12(c)中被识别为其他车辆的期间。此外，图12(d)中虚线所示的部分是不执行警报输出的抑制程度的调整的情况下的警报输出的定时，表示在从上述时刻Tr4到时刻To2的期间进行警报输出。即，在其他车辆的相对速度在预定范围内的从时刻Tv1到时刻Tv2的期间，调整警报输出的抑制程度，与之相对应地，图12(b)那样得到有映入的判定结果的期间被延长。其结果，可以抑制从时刻Tr4到时刻To2的期间的警报输出。

(其他车辆识别处理的说明)

接着，以下说明在图5的步骤S130中由应用执行部204的其他车辆识别部204b执行的其他车辆识别处理。

图13是用于说明在本发明的车载用周围环境识别装置100中由其他车辆识别部204b执行的其他车辆识别处理的车辆概要结构图。车载用周围环境识别装置100，是用于将本车辆V的驾驶者在驾驶中应该严加注意的其他车辆，例如本车辆V变更车道时有可能接触的其他车辆检测为障碍物的装置。特别地，本例的车载用周围环境识别装置100，检测在本车辆行驶的车道的相邻的邻接车道(以下简称为邻接车道)内行驶的其他车辆。另外，本例的车载用周围环境识别装置100可以计算检测出的其他车辆的移动距离、移动速度。因此，以下说明的一例表示将车载用周围环境识别装置100搭载在本车辆V上，在本车辆周围检测出的立体物中，检测出本车辆V行驶的车道的相邻的邻接车道内行驶的其他车辆的例子。如该图所示，本例的车载用周围环境识别装置100具备摄像机1、车速传感器5和其他车辆识别部204b。

摄像机1如图1所示，在本车辆V后方的高度h的位置以光轴从水平向下成为角度θ的方式被安装在本车辆V上。摄像机1从该位置对本车辆V的周围环境中的预定区域进行拍摄。在本实施方式中，为了检测本车辆V后方的立体物而设置的摄像机1为1个，但是，也可以设置用于其他用途，例如用于取得车辆周围的图像的其他摄像机。车速传感器5检测本车辆V的行驶速度，例如根据用检测车轮的转速的车轮速传感器检测出的车轮速计算车速。其他车辆识别部204b将车辆后方的立体物检测为其他车辆，并且在本例中针对该立体物计算移动距离以及移动速度。

图14是表示图13的本车辆V的行驶状态的平面图。如该图所示，摄像机1以预定的视场角a对车辆后方侧进行拍摄。此时，摄像机1的视场角a被设定成除了本车辆V行驶的车道以外，还能够对其左右的车道进行拍摄的视场角。在能够拍摄的区域中，包含在本车辆V的后方，本车辆V的行驶车道的左右相邻的邻接车道上的检测对象区域A1、A2。

图15是表示图13的其他车辆识别部204b的细节的框图。此外，在图15中为了明确连接关系还表示出摄像机1以及车速传感器5。

如图15所示，其他车辆识别部204b具备视点变换部31、位置对准部32、立体物检测部33、立体物判断部34、虚像判断部38、控制部39、弥散检测部40。本实施方式的其他车辆识别部204b是与利用了差分波形信息的立体物的检测块相关的结构。本实施方式的其他车辆识别部204b也可以设为与利用了边缘信息的立体物的检测块相关的结构。在这种情况下，可以将图15所示的结构中由位置对准部32和立体物检测部33构成的检测块结构A置换为由虚线包围的亮度差计算部35、边缘线检测部36、立体物检测部37构成的检测块结构B来构成。当然，可以设为具备检测块结构A以及检测块结构B的双方，可以在进行利用了差分波形信息的立体物的检测的同时，也进行利用了边缘信息的立体物的检测。在具备检测块结构A以及检测块结构B的情况下，例如可以根据亮度等环境因素使检测块结构A或检测块结构B的某一个动作。以下，说明各结构。

《基于差分波形信息的立体物的检测》

本实施方式的车载用周围环境识别装置100根据通过对车辆后方进行拍摄的单眼摄像机1得到的图像信息，检测在车辆后方的右侧检测区域或左侧检测区域中存在的立体物。

视点变换部31输入通过摄像机1的拍摄而得到的预定区域的摄像图像数据，将所输入的摄像图像数据视点变换为被俯视的状态的俯视图像数据。所谓被俯视的状态，是以从上空例如铅直向下看的虚拟摄像机的视点看的状态。该视点变换例如可以如日本特开2008－219063号公报中记载那样执行。将摄像图像数据视点变换为俯视图像数据，是因为基于立体物所特有的铅直边缘通过向俯视图像数据的视点变换被变换为通过特定的定点的直线组的原理，若利用该原理则能够识别平面物和立体物。此外，视点变换部31的图像变换处理的结果，也可以用于后述的基于边缘信息的立体物的检测。

位置对准部32依次输入通过视点变换部31的视点变换而得到的俯视图像数据，将输入的不同时刻的俯视图像数据的位置对准。图16是用于说明位置对准部32的处理的概要的图，(a)是表示本车辆V的移动状态的图，(b)是表示位置对准的概要的图像。

如图16(a)所示，假定当前时刻的本车辆V位于V1，一时刻前的本车辆V位于V2。另外，假定其他车辆VX位于本车辆V的后侧方向，与本车辆V为并行状态，当前时刻的其他车辆VX位于V3，一时刻前的其他车辆VX位于V4。而且，假定本车辆V一时刻移动了距离d。此外，所谓一时刻前，可以是从当前时刻起预定的时间(例如1控制周期)以前的时刻，也可以是任意的时间以前的时刻。

在这种状态下，当前时刻的俯视图像PB_t如图16(b)所示。在该俯视图像PB_t中，在路面上描绘的白线成为矩形，成为被比较准确地平面视的状态，但是位于位置V3的其他车辆VX的位置发生倾斜。另外，关于一时刻前的俯视图像PB_t-1也同样，在路面上描绘的白线成为矩形，成为被比较准确地俯视的状态，但是位于位置V4处的其他车辆VX发生倾斜。如上所述，立体物的铅直边缘(在严格的意义的铅直边缘以外，还包含从路面起在三维空间中立起的边缘)，通过向俯视图像数据的视点变换处理被呈现为沿着倾斜方向的直线组，与之相对，路面上的平面图像不包含铅直边缘，因此，即使进行视点变换，也不发生这种倾斜。

位置对准部32在数据上执行上述的俯视图像PB_t、PB_t-1的位置对准。此时，位置对准部32使一时刻前的俯视图像PB_t-1偏移，使其位置与当前时刻的俯视图像PB_t一致。表示图16(b)的左侧的图像与中央的图像偏移了移动距离d’的状态。该偏移量d’是与图16(a)所示的本车辆V的实际移动距离d对应的俯视图像数据上的移动量，根据来自车速传感器5的信号和从一时刻前到当前时刻的时间来决定。

另外，在位置对准后，位置对准部32取俯视图像PB_t、PB_t-1的差分，生成差分图像PD_t的数据。在此，差分图像PD_t的像素值可以是将俯视图像PB_t、PB_t-1的像素值的差取绝对值的结果，也可以为了与照度环境的变化对应而当该绝对值超过预定的阈值p时设为“1”，在不超过时设为“0”。图16(b)的右侧的图像是差分图像PD_t。该阈值p可以预先设定，也可以按照后述的控制部39的与虚像判断的结果对应的控制命令来变更。

返回图15，立体物检测部33根据图16(b)所示的差分图像PD_t的数据检测立体物。此时，本例的立体物检测部33还计算实际空间上的立体物的移动距离。当进行立体物的检测以及移动距离的计算时，立体物检测部33首先生成差分波形。此外，立体物的每单位时间的移动距离被用于计算立体物的移动速度。并且，立体物的移动速度可以用于判断立体物是否为车辆。

当生成差分波形时，本实施方式的立体物检测部33在差分图像PD_t中设定检测区域。本例的车载用周围环境识别装置100将本车辆V的驾驶者严加注意的其他车辆，特别是本车辆V变更车道时有可能接触的、在本车辆V行驶的车道的相邻车道内行驶的其他车辆作为检测对象物来进行检测。因此，在根据图像信息检测立体物的本例中，在通过摄像机1得到的图像中本车辆V的右侧以及左侧设定两个检测区域。具体来说，在本实施方式中，如图14所示，在本车辆V的后方的左侧以及右侧设定矩形的检测区域A1、A2。在该检测区域A1、A2中检测出的其他车辆，作为在本车辆V行驶的车道的相邻的邻接车道内行驶的障碍物被检测出。此外，这样的检测区域A1、A2可以根据相对于本车辆V的相对位置来设定，也可以以白线的位置为基准来设定。在以白线的位置为基准来设定的情况下，移动距离检测装置1例如可以利用现有的白线识别技术等。

另外，立体物检测部33将所设定的检测区域A1、A2的本车辆V侧的边(沿着行驶方向的边)识别为接地线L1、L2(图14)。一般，接地线表示立体物与地面接触的线，但是在本实施方式中不是与地面接触的线，而是如上述那样设定。此外，即使在该情况下，经验上，本实施方式的接地线和根据本来的其他车辆VX的位置求出的接地线的差不过于增大，在实用上没有问题。

图17是表示图3所示的立体物检测部33的差分波形的生成的样子的概要图。如图17所示，立体物检测部33根据通过位置对准部32计算出的差分图像PD_t(图16(b)的右图)中与检测区域A1、A2相当的部分，生成差分波形DW_t。此时，立体物检测部33沿着立体物通过视点变换而倾斜的方向生成差分波形DW_t。此外，在图17所示的例子中，为了方便仅使用检测区域A1来说明，但针对检测区域A2也以同样的步骤生成差分波形DW_t。

具体来说，立体物检测部33在差分图像DW_t的数据上定义立体物倾斜的方向上的线La。然后，立体物检测部33在线La上对表示预定的差分的差分像素DP的个数进行计数。在此，表示预定的差分的差分像素DP，在差分图像DW_t的像素值是将俯视图像PB_t、PB_t-1的像素值的差取绝对值的结果的情况下，是超过预定的阈值的像素，在差分图像DW_t的像素值用“0”、“1”表现的情况下，是表示“1”的像素。

立体物检测部33在对差分像素DP的个数进行计数后，求出线La和接地线L1的交点CP。然后，立体物检测部33将交点CP与计数个数对应，根据交点CP的位置决定横轴位置、即图17右图的上下方向轴中的位置，并且，根据计数个数决定纵轴位置、即图17右图的左右方向轴中的位置，作为交点CP处的计数个数来标绘。

以下同样地，立体物检测部33定义立体物倾斜的方向上的线Lb、Lc…，对差分像素DP的个数进行计数，根据各交点CP的位置决定横轴位置，根据计数个数(差分像素DP的个数)决定纵轴位置并标绘。立体物检测部33依次重复上述操作来进行度数分布化，由此，如图17右图所示生成差分波形DW_t。

此外，如图17左图所示，立体物倾斜的方向上的线La和线Lb与检测区域A1重叠的距离不同。因此，若假定检测区域A1被差分像素DP占满，则与线Lb上相比，线La上差分像素DP的个数增多。因此，立体物检测部33在根据差分像素DP的计数个数决定纵轴位置的情况下，根据立体物倾斜的方向上的线La、Lb和检测区域A1重叠的距离来进行正规化。举具体例子来说，图17左图中线La上的差分像素DP为6个，线Lb上的差分像素DP为5个。因此，在图17中当根据计数个数决定纵轴位置时，立体物检测部33将计数个数除以重叠距离等来进行正规化。由此，如差分波形DW_t所示，与立体物倾斜的方向上的线La、Lb对应的差分波形DW_t的值大致相同。

在生成差分波形DW_t后，立体物检测部33通过与一时刻前的差分波形DW_t-1的对比来计算移动距离。即，立体物检测部33根据差分波形DW_t、DW_t-1的时间变化来计算移动距离。

详细来说，立体物检测部33如图18所示，将差分波形DW_t分割为多个小区域DW_t1～DW_tn(n为2以上的任意整数)。图18是表示通过立体物检测部33分割的小区域DW_t1～DW_tn的图。小区域DW_t1～DW_tn例如图18所示，以互相重叠的方式被分割。例如，小区域DW_t1与小区域DW_t2重叠，小区域DW_t2与小区域DW_t3重叠。

接着，立体物检测部33针对每个小区域DW_t1～DW_tn求出偏移量(差分波形的横轴方向(图18的上下方向)的移动量)。在此，偏移量根据一时刻前的差分波形DW_t-1与当前时刻的差分波形DW_t的差(横轴方向的距离)来求出。此时，立体物检测部33针对每个小区域DW_t1～DW_tn，在使一时刻前的差分波形DW_t-1在横轴方向上移动时，判定与当前时刻的差分波形DW_t的误差达到最小的位置(横轴方向的位置)，求出差分波形DW_t-1的原始位置与误差达到最小的位置的横轴方向的移动量作为偏移量。然后，立体物检测部33对针对每个小区域DW_t1～DW_tn求出的偏移量进行计数来进行直方图化。

图19是表示通过立体物检测部33得到的直方图的一例的图。如图19所示，各小区域DW_t1～DW_tn与一时刻前的差分波形DW_t-1的误差达到最小的移动量即偏移量中产生少量的波动。因此，立体物检测部33将包含波动的偏移量直方图化，并根据直方图计算移动距离。此时，立体物检测部33根据直方图的极大值计算立体物的移动距离。即，在图19所示的例子中，立体物检测部33将表示直方图的极大值的偏移量计算为移动距离τ*。此外，该移动距离τ*是其他车辆VX相对于本车辆V的相对移动距离。因此，立体物检测部33在计算绝对移动距离的情况下，根据得到的移动距离τ＊和来自车速传感器5的信号计算绝对移动距离。

此外，当直方图化时，立体物检测部33可以对多个小区域DW_t1～DW_tn的每个进行加权，根据权重对针对每个小区域DW_t1～DW_tn求出的偏移量进行计数来直方图化。图20是表示通过立体物检测部33进行的加权的图。

如图20所示，小区域DW_m(m是1以上n-1以下的整数)变得平坦。即，小区域DW_m中表示预定的差分的像素数的计数的最大值与最小值的差减小。立体物检测部33针对这样的小区域DW_m减小权重。这是因为针对平坦的小区域DW_m没有特征地计算偏移量时，误差增大的可能性高。

另一方面，小区域DW_m+k(k是n-m以下的整数)富有起伏。即，小区域DW_m中表示预定的差分的像素数的计数的最大值与最小值的差增大。立体物检测部33针对这样的小区域DW_m增大权重。这是因为针对富有起伏的小区域DW_m+k，能够准确地进行有特征的偏移量的计算的可能性高。通过如此加权，可以提高移动距离的计算精度。

此外，为了提高移动距离的计算精度，在上述实施方式中将差分波形DW_t分割为多个小区域DW_t1～DW_tn，但是在不那么要求移动距离的计算精度的情况下，也可以不分割为小区域DW_t1～DW_tn。在这种情况下，立体物检测部33根据差分波形DW_t与差分波形DW_t-1的误差达到最小时的差分波形DW_t的偏移量计算移动距离。即，求出一时刻前的差分波形DW_t-1与当前时刻的差分波形DW_t的偏移量的方法不限定于上述内容。

返回图15，其他车辆识别部204b具备弥散检测部40。弥散检测部40根据通过摄像机1的拍摄而得到的摄像图像的数据检测弥散的发生区域。此外，弥散是CCD图像传感器等中产生的白色过度感光现象，因此在采用使用不产生这种弥散的CMOS图像传感器等的摄像机1的情况下可以省略弥散检测部40。

图21是用于说明弥散检测部40的处理以及基于此处理的差分波形DW_t的计算处理的图像图。首先，假定对弥散检测部40输入了存在弥散S的摄像图像P的数据。此时，弥散检测部40从摄像图像P检测弥散S。弥散S的检测方法各种各样，但是例如在一般的CCD(Charge-Coupled Device：电荷耦合元件)摄像机的情况下，仅在从光源向图像下方发生弥散S。因此，在本实施方式中，从图像下侧向图像上方检索具有预定值以上的亮度值，并且在纵向上连续的区域，将其确定为弥散S的发生区域。

另外，弥散检测部40生成针对弥散S的发生位置将像素值设为“1”，将除此以外的位置设为“0”的弥散图像SP的数据。生成后，弥散检测部40将弥散图像SP的数据发送到视点变换部31。另外，输入了弥散图像SP的数据的视点变换部31将该数据视点变换为被俯视的状态。由此，视点变换部31生成弥散俯视图像SB_t的数据。生成后，视点变换部31将弥散俯视图像SB_t的数据发送到位置对准部33。另外，视点变换部31将一时刻前的弥散俯视图像SB_t-1的数据发送到位置对准部33。

位置对准部32在数据上执行弥散俯视图像SB_t，SB_t-1的位置对准。关于具体的位置对准，与在数据上执行俯视图像PB_t，PB_t-1的位置对准的情况相同。另外，在位置对准后，位置对准部32针对各弥散俯视图像SB_t，SB_t-1的弥散S的发生区域取得逻辑和。由此，位置对准部32生成掩膜(mask)图像MP的数据。生成后，位置对准部32将掩膜图像MP的数据发送到立体物检测部33。

立体物检测部33针对掩膜图像MP中与弥散S的发生区域对应的位置，将度数分布的计数个数设为零。即，在生成了图21所示的差分波形DW_t的情况下，立体物检测部33将基于弥散S的计数个数SC设为零，生成修正后的差分波形DW_t’。

此外，在本实施方式中，立体物检测部33求出车辆V(摄像机1)的移动速度，并根据求出的移动速度求出关于静止物的偏移量。在求出静止物的偏移量后，立体物检测部33在忽视直方图的极大值中与静止物对应的偏移量的基础上，计算立体物的移动距离。

图22是表示通过立体物检测部33得到的直方图的另一例子的图。在摄像机1的视场角内除了其他车辆VX外还存在静止物的情况下，在得到的直方图中出现两个极大值τ1、τ2。在这种情况下，两个极大值τ1、τ2中某一方为静止物的偏移量。因此，立体物检测部33根据移动速度求出关于静止物的偏移量，忽视与该偏移量对应的极大值，采用剩余一方的极大值来计算立体物的移动距离。

此外，即使忽视与静止物对应的偏移量，在存在多个极大值的情况下，也设想到在摄像机1的视场角内存在多台其他车辆VX。但是，在检测区域A1、A2内存在多台其他车辆VX是极为稀少的。因此，立体物检测部33中止移动距离的计算。

接着，说明基于差分波形信息的立体物检测步骤。图23以及图24是表示本实施方式的立体物检测步骤的流程图。如图23所示，首先，其他车辆识别部204b输入摄像机1的摄像图像P的数据，通过弥散检测部40生成弥散图像SP(S1)。然后，视点变换部31根据来自摄像机1的摄像图像P的数据生成俯视图像PB_t的数据，并且，根据弥散图像SP的数据生成弥散俯视图像SB_t的数据(S2)。

然后，位置对准部33将俯视图像PB_t的数据与一时刻前的俯视图像PB_t-1的数据进行位置对准，并且将弥散俯视图像SB_t的数据与一时刻前的弥散俯视图像SB_t-1的数据进行位置对准(S3)。在该位置对准后，位置对准部33生成差分图像PD_t的数据，并且生成掩膜图像MP的数据(S4)。此后，立体物检测部33根据差分图像PD_t的数据和一时刻前的差分图像PD_t-1的数据，生成差分波形DW_t(S5)。在生成差分波形DW_t后，立体物检测部33将差分波形DW_t中与弥散S的发生区域对应的计数个数设为零，抑制弥散S的影响(S6)。

此后，立体物检测部33判断差分波形DW_t的峰值是否在第1阈值α以上(S7)。该第1阈值α被预定设定，也可以根据图15所示的控制部39的控制命令来变更，在后面说明其细节。在此，在差分波形DW_t的峰值不在第1阈值α以上的情况下，即几乎没有差分的情况下，认为在摄像图像P内不存在立体物。因此，在判断出差分波形DW_t的峰值不在第1阈值α以上的情况下(S7：否)，立体物检测部33判断为不存在立体物，不存在作为障碍物的其他车辆(图24：S16)。然后，结束图23以及图24所示的处理。

另一方面，在判断为差分波形DW_t的峰值在第1阈值α以上的情况下(S7:是)，立体物检测部33判断为存在立体物，并将差分波形DW_t分割为多个小区域DW_t1～DW_tn(S8)。然后，立体物检测部33针对每个小区域DW_t1～DW_tn进行加权(S9)。然后，立体物检测部33计算每个小区域DW_t1～DW_tn的偏移量(S10)，考虑权重来生成直方图(S11)。

然后，立体物检测部33根据直方图计算立体物相对于本车辆V的移动距离，即相对移动距离(S12)。然后，立体物检测部33根据相对移动距离计算立体物的绝对移动速度(S13)。此时，立体物检测部33对相对移动距离进行时间微分来计算相对移动速度，并且与通过车速传感器5检测出的本车速相加，计算绝对移动速度。

此后，立体物检测部33判断立体物的绝对移动速度是否为10km/h以上，并且立体物相对于本车辆V的相对移动速度是否为+60km/h以下(S14)。在满足双方的情况下(S14：是)，立体物检测部33判断为立体物是其他车辆VX(S15)。然后，结束图23以及图24所示的处理。另一方面，在任意一方都不满足的情况下(S14：否)，立体物检测部33判断为不存在其他车辆(S16)。然后，结束图23以及图24所示的处理。

此外，本实施方式中将本车辆V的后侧方设为检测区域A1、A2，重点放在检测本车辆V在行驶过程中应该严加注意的、在本车辆的行驶车道的相邻的邻接车道内行驶的其他车辆VX，特别是在本车辆V变更车道时是否有可能接触。这是为了判断在本车辆V变更了车道的情况下是否有可能与在本车辆的行驶车道相邻的邻接车道内行驶的其他车辆VX接触。因此，执行步骤S14的处理。即，当使本实施方式中的系统在高速道路上工作为前提时，在立体物的速度不足10km/h的情况下，例如即使存在其他车辆VX，由于在车道变更时位于本车辆V的远处的后方，因此成为问题的情况少。同样地，在立体物相对于本车辆V的相对移动速度超过+60km/h的情况下(即，立体物相比于本车辆V的速度以大于60km/h的速度移动的情况下)，当车道变更时在本车辆V的前方移动，因此成为问题的情况少。因此，也可以说在步骤S14中判断在车道变更时成为问题的其他车辆VX。

另外，通过在步骤S14中判断是否立体物的绝对移动速度在10km/h以上，并且立体物相对于本车辆V的相对移动速度在+60km/h以下，具有以下的效果。例如，由于摄像机1的安装误差，有时会将静止物的绝对移动速度检测为数km/h。因此，通过判断是否在10km/h以上，可以降低将静止物判断为其他车辆VX的可能性。另外，由于噪声，有时会将立体物相对于本车辆V的相对速度检测为超过+60km/h的速度。因此，通过判断相对速度是否在+60km/h以下，能够降低噪音引起的误检测的可能性。

在步骤S14中用于判断其他车辆VX的相对移动速度的阈值可以任意设定。例如，可以将-20km/h以上、100km/h以下设定为相对移动速度的阈值。在此，负的下限值是检测物向本车辆VX的后方移动，即检测物为向后方移动的状态时的移动速度的下限值。该阈值可以适当地预先设定，但可以按照后述的控制部39的控制命令来变更。

而且，也可以代替步骤S14的处理，判断绝对移动速度不为负或不为0km/h。另外，在本实施方式中，重点放在本车辆V变更车道的情况下是否有可能接触，因此，在步骤S15中检测出其他车辆VX的情况下，可以向本车辆的驾驶者发出警告音，或者通过预定的显示装置进行相当于警告的显示。

这样，根据本例的基于差分波形信息的立体物的检测步骤，沿着立体物由于视点变换而倾斜的方向，在差分图像PD_t的数据上对表示预定的差分的像素数进行计数来进行度数分布化，由此生成差分波形DW_t。在此，在差分图像PD_t的数据上表示预定的差分的像素是在不同时刻的图像中发生了变化的像素，换言之，可以说是立体物存在的位置。因此，在立体物存在的位置，沿着立体物倾斜的方向对像素数进行计数来进行度数分布化，由此生成差分波形DW_t。特别是沿着立体物倾斜的方向对像素数进行计数，因此，对于立体物根据高度方向的信息生成差分波形DW_t。然后，根据包含高度方向的信息的差分波形DW_t的时间变化，计算立体物的移动距离。因此，与简单地仅关注1点的移动的情况相比，时间变化前的检测位置和时间变化后的检测位置包含高度方向的信息而被确定，因此，在立体物中容易成为相同位置，可以根据相同位置的时间变化来计算移动距离，提高移动距离的计算精度。

另外，针对差分波形DW_t中与弥散S的发生区域对应的位置，将度数分布的计数个数设为零。由此，除去差分波形DW_t中由于弥散S而产生的波形部位，可以防止将弥散S误认为立体物的事态。

另外，根据在不同时刻生成的差分波形DW_t的误差达到最小时的差分波形DW_t的偏移量计算立体物的移动距离。因此，根据波形这样的1维信息的偏移量来计算移动距离，在计算移动距离时可以抑制计算开销。

另外，将在不同时刻生成的差分波形DW_t分割为多个小区域DW_t1～DW_tn。通过如此分割为多个小区域DW_t1～DW_tn，得到多个表示出立体物的各个位置的波形。另外，针对每个小区域DW_t1～DW_tn求出各自的波形的误差达到最小时的偏移量，对针对每个小区域DW_t1～DW_tn求出的偏移量进行计数进行直方图化，由此计算立体物的移动距离。因此，针对立体物的每个位置求出偏移量，并根据多个偏移量求出移动距离，可以提高移动距离的计算精度。

另外，对多个小区域DW_t1～DW_tn的每一个进行加权，根据权重对针对每个小区域DW_t1～DW_tn而求出的偏移量进行计数由此来直方图化。因此，通过针对特征区域增大权重，针对非特征区域减小权重，可以更恰当地计算移动距离。因此，可以使移动距离的计算精度进一步提高。

另外，针对差分波形DW_t的各小区域DW_t1～DW_tn，表示预定的差分的像素数的计数的最大值与最小值的差越大，越增大权重。因此，越是最大值与最小值的差大的特征性的起伏区域，权重越大，起伏小的平坦区域，权重减小。在此，与平坦区域相比，起伏大的区域在形状上更容易准确地求出偏移量，因此，通过使得最大值与最小值的差大的区域的权重增大，可以进一步提高移动距离的计算精度。

另外，根据对针对每个小区域DW_t1～DW_tn求出的偏移量计数而得的直方图的极大值，计算立体物的移动距离。因此，即使偏移量中存在波动，也可以根据该极大值计算准确性更高的移动距离。

另外，求出针对静止物的偏移量并忽视该偏移量，因此可以防止由于静止物导致立体物的移动距离的计算精度降低的事态。另外，在忽视与静止物对应的偏移量的基础上，在存在多个极大值的情况下中止立体物的移动距离的计算。因此，可以防止计算出存在多个极大值那样的错误的移动距离的事态。

此外，在上述实施方式中，根据来自车速传感器5的信号判断本车辆V的车速，但是不限于此，也可以根据不同时刻的多个图像来推定速度。在这种情况下不需要车速传感器，可以实现结构的简化。

另外，在上述实施方式中，将拍摄的当前时刻的图像与一时刻前的图像变换为俯视图并进行变换后的俯视图的位置对准，在此基础上生成差分图像PD_t，并沿着倾斜方向(将拍摄的图像变换为俯视图时的立体物的倾斜方向)评价所生成的差分图像PD_t来生成了差分波形DW_t，但是不限于此。例如，也可以仅将一时刻前的图像变换为俯视图，对在将变换后的俯视图进行位置对准后再次拍摄的图像进行相应变换，使用该图像和当前时刻的图像生成差分图像，沿着与倾斜方向相当的方向(即，将倾斜方向变换为摄像图像上的方向后的方向)评价所生成的差分图像，由此生成差分波形DW_t。即，进行当前时刻的图像与一时刻前的图像的位置对准，根据进行了位置对准的两图像的差分生成差分图像PD_t，只要能够沿着变换为俯视图时的立体物的倾斜方向来评价差分图像PD_t，则未必明确地生成俯视图。

《基于边缘信息的立体物的检测》

接着，说明能够代替图15所示的检测块A而动作的、由亮度差计算部35、边缘线检测部36以及立体物检测部37构成的利用边缘信息的立体物的检测块B。图25是表示图15的摄像机1的摄像范围等的图，图25(a)表示平面图，图25(b)表示本车辆V的后侧方的实际空间上的立体图。如图25(a)所示，摄像机1被设为预定的视场角a，对该预定的视场角a中包含的本车辆V的后侧方摄像。摄像机1的视场角a与图14所示的情况同样地被设定，使得摄像机1的摄像范围内除了本车辆V行驶的车道外还包含邻接的车道。

本例的检测区域A1，A2在俯视(被俯视的状态)中设为梯形，这些检测区域A1，A2的位置、大小以及形状根据距离d₁～d₄而决定。此外，该图所示的例子的检测区域A1，A2不限于梯形，如图14所示，在俯视的状态下可以为矩形等其他形状。

在此，距离d1是从本车辆V到接地线L1、L2的距离。接地线L1、L2表示在与本车辆V行驶的车道邻接的车道内存在的立体物与地面接触的线。在本实施方式中，目的是在本车辆V的后侧方检测在与本车辆V的车道邻接的左右的车道内行驶的其他车辆VX等(包含2轮车等)。因此，可以预先根据从本车辆V到白线W的距离d11以及从白线W到预测为其他车辆VX行驶的位置的距离d12，大致固定地决定成为其他车辆VX的接地线L1、L2的位置即距离d1。

另外，距离d1不限于被固定地决定的情况，也可以改变。在这种情况下，其他车辆识别部204b通过白线识别等技术识别白线W相对于本车辆V的位置，并基于识别出的白线W的位置决定距离d11。由此，使用所决定的距离d11可变地设定距离d1。在以下的实施方式中，假定其他车辆VX行驶的位置(与白线W的距离d12)以及本车辆V行驶的位置(与白线W的距离d11)大体决定，因此距离d1被固定地决定。

距离d2是从本车辆V的后端部向车辆行进方向延伸的距离。以使检测区域A1、A2至少收敛在摄像机1的视场角a内的方式来决定该距离d2。特别在本实施方式中，距离d2被设定为与以视场角a划分的范围相接。距离d3是表示检测区域A1、A2的车辆行进方向上的长度的距离。根据成为检测对象的立体物的大小来决定该距离d3。在本实施方式中，由于检测对象是其他车辆VX等，因此距离d3被设定为包含其他车辆VX的长度。

如图25(b)所示，距离d4是表示以在实际空间中包含其他车辆VX等的轮胎的方式被设定的高度的距离。距离d4在俯视图像中被设为图25(a)所示的长度。此外，距离d4也可以设为在俯视图像中不包含与左右的邻接车道进一步邻接的车道(即，相邻2车道的车道)的长度。这是因为当包含从本车辆V的车道起相邻2车道的车道时，无法区别是在作为本车辆V行驶的车道的本车道的左右的邻接车道内存在其他车辆VX，还是在相邻2车道的车道内存在其他车辆VX。

如上那样决定距离d1～距离d4，由此决定检测区域A1、A2的位置、大小以及形状。具体来说，根据距离d1决定成为梯形的检测区域A1、A2的上边b1的位置。根据距离d2决定上边b1的起点位置C1。根据距离d3决定上边b1的终点位置C2。根据从摄像机1向起点位置C1延伸的直线L3决定成为梯形的检测区域A1、A2的侧边b2。同样地，根据从摄像机1向终点位置C2延伸的直线L4决定成为梯形的检测区域A1、A2的侧边b3。根据距离d4决定成为梯形的检测区域A1、A2的下边b4的位置。这样，通过各边b1～b4包围的区域被设为检测区域A1、A2。该检测区域A1、A2如图25(b)所示，在本车辆V后侧方的实际空间上成为正方形(长方形)。

返回图15，视点变换部31输入通过摄像机1的摄像而得到的预定区域的摄像图像数据。视点变换部31对所输入的摄像图像数据进行向俯视状态的俯视图像数据的视点变换处理。所谓俯视状态，是以从上空例如铅直向下(或稍斜向下)看的虚拟摄像机的视点看到的状态。该视点变换处理例如可以通过日本特开2008-219063号公报中记载的技术来实现。

亮度差计算部35为了检测在俯视图像中包含的立体物的边缘，对通过视点变换部31进行视点变换后的俯视图像数据进行亮度差的计算。亮度差计算部35针对沿着在实际空间中的铅直方向上延伸的铅直虚拟线的多个位置的各个位置，计算各该位置附近的两个像素间的亮度差。亮度差计算部35可以通过仅设定1条在实际空间中的铅直方向上延伸的铅直虚拟线的方法、和设定2条铅直虚拟线的方法中的某种方法来计算亮度差。

对设定2条铅直虚拟线的具体方法进行说明。亮度差计算部35对视点变换后的俯视图像设定与在实际空间中铅直方向上延伸的线段对应的第一铅直虚拟线、和不同于第一铅直虚拟线而与在实际空间中铅直方向上延伸的线段对应的第二铅直虚拟线。亮度差计算部35沿着第一铅直虚拟线以及第二铅直虚拟线连续地求出第一铅直虚拟线上的点和第二铅直虚拟线上的点的亮度差。以下，详细说明该亮度差计算部35的动作。

亮度差计算部35如图26(a)所示，设定与实际空间中在铅直方向上延伸的线段对应，并且通过检测区域A1的第一铅直虚拟线La(以下，称为关注线La)。另外，亮度差计算部35设定不同于关注线La，与实际空间中在铅直方向上延伸的线段对应，并且通过检测区域A1的第二铅直虚拟线Lr(以下称为参照线Lr)。在此，参照线Lr被设定在实际空间中从关注线La离开预定距离的位置。此外，与实际空间中在铅直方向上延伸的线段对应的线，在俯视图像中成为从摄像机1的位置Ps以放射状展宽的线。该以放射状展宽的线是在变换为俯视时沿着立体物倾斜的方向的线。

亮度差计算部35在关注线La上设定关注点Pa(第一铅直虚拟线上的点)。另外，亮度差计算部35在参照线Lr上设定参照点Pr(第二铅直虚拟线上的点)。这些关注线La、关注点Pa、参照线Lr、参照点Pr在实际空间上成为图26(b)所示的关系。由图26(b)可知，关注线La以及参照线Lr是在实际空间上在铅直方向上延伸的线，关注点Pa和参照点Pr是在实际空间上被设定在大致相同高度的点。此外，关注点Pa和参照点Pr未必需要严格为相同高度，允许将关注点Pa和参照点Pr视为相同高度的程度的误差。

亮度差计算部35求出关注点Pa和参照点Pr的亮度差。假如关注点Pa与参照点Pr的亮度差大，则认为在关注点Pa和参照点Pr之间存在边缘。因此，图15所示的边缘线检测部36根据关注点Pa和参照点Pr的亮度差来检测边缘线。

更详细地说明这一点。图27是表示亮度差计算部35的详细动作的图。图27(a)是表示俯视的状态的俯视图像的图，图27(b)是将图27(a)中所示的俯视图像的一部分B1放大后的图。此外，关于图27也仅图示出检测区域A1来说明，但是关于检测区域A2也通过同样的步骤来计算亮度差。

在摄像机1拍摄的摄像图像内映入了其他车辆VX的情况下，如图27(a)所示，在俯视图像内的检测区域A1中出现其他车辆VX。如在图27(b)中表示的图27(a)中的区域B1的放大图那样，在俯视图像上，在其他车辆VX的轮胎的橡胶部分上设定了关注线La。在该状态下，亮度差计算部35首先设定参照线Lr。在从关注线La起在实际空间上离开预定距离的位置，沿铅直方向设定参照线Lr。具体来说，本实施方式的车载用周围环境识别装置100中，参照线Lr被设定在从关注线La起在实际空间上离开10cm的位置。由此，在俯视图像上，例如在从其他车辆VX的轮胎的橡胶离开10cm相当的其他车辆VX的轮胎的轮上设定参照线Lr。

接着，亮度差计算部35在关注线La上设定多个关注点Pa1～PaN。在图27(b)中，为了便于说明而设定了6个关注点Pa1～Pa6(以下，在表示任意点的情况下简称为关注点Pai)。此外，在关注线La上设定的关注点Pa的数量可以是任意的。在以下的说明中，以在关注线La上设定了N个关注点Pa的例子来说明。

接着，亮度差计算部35将各参照点Pr1～PrN在实际空间上设定为与各关注点Pa1～PaN高度相同。然后，亮度差计算部35计算彼此高度相同的关注点Pa和参照点Pr的亮度差。由此，亮度差计算部35针对在实际空间中沿着铅直方向上延伸的铅直虚拟线的多个位置(1～N)的每个位置，计算两个像素的亮度差。亮度差计算部35例如在第一关注点Pa1与第一参照点Pr1之间计算亮度差，在第二关注点Pa2与第二参照点Pr2之间计算亮度差。由此，亮度差计算部35沿着关注线La以及参照线Lr连续地求出亮度差。即，亮度差计算部35依次求出第3～第N关注点Pa3～PaN与第3～第N参照点Pr3～PrN的亮度差。

亮度差计算部35一边在检测区域A1内移动关注线La，一边重复执行上述的参照线Lr的设定、关注点Pa以及参照点Pr的设定、亮度差的计算的处理。即，亮度差计算部35一边将关注线La以及参照线Lr分别在实际空间中在接地线L1的延伸方向上以相同距离改变位置，一边重复执行上述处理。亮度差计算部35例如将在前一次处理中成为参照线Lr的线设定为关注线La，对该关注线La设定参照线Lr，依次求出亮度差。

返回图15，边缘线检测部36根据通过亮度差计算部35算出的连续的亮度差检测边缘线。例如，在图27(b)所示的情况下，第一关注点Pa1与第一参照点Pr1位于相同的轮胎部分，因此亮度差小。另一方面，第2～第6关注点Pa2～Pa6位于轮胎的橡胶部分，第2～第6参照点Pr2～Pr6位于轮胎的轮部分。因此，第2～第6关注点Pa2～Pa6与第2～第6参照点Pr2～Pr6的亮度差增大。因此，边缘线检测部36可以检测出在亮度差大的第2～第6关注点Pa2～Pa6与第2～第6参照点Pr2～Pr6之间存在边缘线。

具体来说，边缘线检测部36当检测边缘线时，首先按照下述的式(1)，根据第i个关注点Pai(坐标(xi,yi))与第i个参照点Pri(坐标(xi’,yi’))的亮度差，对第i个关注点Pai赋予属性。

式(1)

I(xi,yi)>I(xi’,yi’)+t时，

s(xi,yi)＝1

I(xi,yi)<I(xi’,yi’)-t时，

s(xi,yi)＝-1

上述以外时，

s(xi,yi)＝0

在上述式(1)中，t表示阈值，I(xi,yi)表示第i个关注点Pai的亮度值，I(xi’,yi’)表示第i个参照点Pri的亮度值。根据上述式(1)，当关注点Pai的亮度值比在参照点Pri上加上阈值t而得的亮度值高时，该关注点Pai的属性s(xi,yi)为‘1’。另一方面，当关注点Pai的亮度值比从参照点Pri减去阈值t而得的亮度值低时，该关注点Pai的属性s(xi,yi)为‘-1’。在关注点Pai的亮度值和参照点Pri的亮度值为除此以外的关系时，关注点Pai的属性s(xi,yi)为‘0’。该阈值t预先被设定，也可以根据图15所示的控制部39发出的控制命令来变更，在后面描述其细节。

接着，边缘线检测部36基于下述式(2)，根据沿关注线La的属性s的连续性c(xi,yi)来判定关注线La是否为边缘线。

式(2)

s(xi,yi)＝s(xi+1,yi+1)时(且排除0＝0)，

c(xi,yi)＝1

上述以外时，

c(xi,yi)＝0

在关注点Pai的属性s(xi,yi)与邻接的关注点Pai+1的属性s(xi+1,yi+1)相同时，连续性c(xi,yi)为‘1’。在关注点Pai的属性s(xi,yi)与邻接的关注点Pai+1的属性s(xi+1,yi+1)不相同时，连续性c(xi,yi)为‘0’。

接着，边缘线检测部36针对关注线La上的全部关注点Pa的连续性c求出总和。边缘线检测部36通过将求出的连续性c的总和除以关注点Pa的数量N来将连续性c正规化。当正规化后的值超过阈值θ时，边缘线检测部36将关注线La判断为边缘线。此外，阈值θ是预先通过实验等设定的值。阈值θ可以预先设定，也可以根据与后述的控制部39的虚像的判断结果对应的控制命令来变更。

即，边缘线检测部36基于下述式(3)来判断关注线La是否为边缘线。并且，边缘线检测部36针对在检测区域A1上描绘的全部关注线La判断是否是边缘线。

式(3)

Σc(xi,yi)/N>θ

返回图15，立体物检测部37基于通过边缘线检测部36检测出的边缘线的量来检测立体物。如上所述，本实施方式的车载用周围环境识别装置100检测实际空间中在铅直方向上延伸的边缘线。检测出很多在铅直方向上延伸的边缘线的情况，是在检测区域A1、A2中存在立体物的可能性高的情况。因此，立体物检测部37基于通过边缘线检测部36检测出的边缘线的量检测立体物。而且，立体物检测部37在检测立体物之前判定通过边缘线检测部36检测出的边缘线是否正确。立体物检测部37判定在边缘线上的俯视图像的沿边缘线的亮度变化是否大于预定阈值。当边缘线上的俯视图像的亮度变化大于阈值时，判断该边缘线是由于误判定而被检测出的。另一方面，当边缘线上的俯视图像的亮度变化不大于阈值时，判定该边缘线是正确的。此外，该阈值是通过实验等预先设定的值。

图28是表示边缘线的亮度分布的图，图28(a)表示在检测区域A1中存在作为立体物的其他车辆VX时的边缘线以及亮度分布，图28(b)表示在检测区域A1中不存在立体物时的边缘线以及亮度分布。

如图28(a)所示，假定在俯视图像中判断出在其他车辆VX的轮胎橡胶部分设定的关注线La是边缘线。在这种情况下，关注线La上的俯视图像的亮度变化变得平缓。这是由于通过摄像机1拍摄的图像被视点变换为俯视图像，由此导致其他车辆VX的轮胎在俯视图像内被拉伸。另一方面，如图28(b)所示，假定在俯视图像中在路面上描绘的“50”的白色文字部分上设定的关注线La被误判定为边缘线。在这种情况下，关注线La上的俯视图像的亮度变化起伏大。这是由于在边缘线上共存白色文字中的亮度高的部分、路面等亮度低的部分。

基于以上那样的关注线La上的亮度分布的差异，立体物检测部37判定边缘线是否由于误判定而检测出。立体物检测部37，当沿边缘线的亮度变化大于预定阈值时，判定为该边缘线由于误判定而被检测出。并且，在立体物的检测中不使用该边缘线。由此，抑制将路面上的“50”这样的白色文字或路边的杂草等判定为边缘线，降低立体物的检测精度。

具体来说，立体物检测部37通过下述式(4)、式(5)的某一个，计算边缘线的亮度变化。该边缘线的亮度变化相当于实际空间上的铅直方向的评价值。下述式(4)通过关注线La上的第i个亮度值I(xi,yi)和邻接的第i+1个亮度值I(xi+1,yi+1)的差的平方的合计值来评价亮度分布。下述式(5)通过关注线La上的第i个亮度值I(xi,yi)和邻接的第i+1个亮度值I(xi+1,yi+1)的差的绝对值的合计值来评价亮度分布。

式(4)

相当铅直方向的评价值＝Σ[{I(xi,yi)-I(xi+1,yi+1)}²]

式(5)

相当铅直方向的评价值＝Σ|I(xi,yi)-I(xi+1,yi+1)|

此外，不限于式(5)，也可以如下述式(6)这样使用阈值t2将邻接的亮度值的属性b二值化，针对全部关注点Pa求出该二值化的属性b的总和。

式(6)

相当铅直方向的评价值＝Σb(xi,yi)

其中，当|I(xi,yi)-I(xi+1,yi+1)|>t2时,

b(xi,yi)＝1,

上述以外的情况下，

b(xi,yi)＝0

当关注点Pai的亮度值与参照点Pri的亮度值的亮度差的绝对值大于阈值t2时，该关注点Pa(xi,yi)的属性b(xi,yi)为‘1’。当为除此以外的关系时，关注点Pai的属性b(xi,yi)为‘0’。为了判定关注线La不在相同立体物上而通过实验等预先设定该阈值t2。并且，立体物检测部37求出关于关注线La上的全部关注点Pa的属性b的总和，求出相当铅直方向的评价值来判定边缘线是否正确。

接着，说明本实施方式的利用了边缘信息的立体物检测方法。图29及图30是表示本实施方式的立体物检测方法的细节的流程图。此外，图29及图30中，为了方便而说明了以检测区域A1为对象的处理，但针对检测区域A2也执行同样的处理。

如图29所示，首先在步骤S21中，摄像机1对根据视场角a以及安装位置而确定的预定区域进行拍摄。然后，视点变换部31在步骤S22中输入在步骤S21中通过摄像机1拍摄到的摄像图像数据，进行视点变换来生成俯视图像数据。

接着，亮度差计算部35在步骤S23中，在检测区域A1上设定关注线La。此时，亮度差计算部35将与实际空间上在铅直方向上延伸的线相当的线设定为关注线La。然后，亮度差计算部35在步骤S24中，在检测区域A1上设定参照线Lr。此时，亮度差计算部35将与实际空间上在铅直方向上延伸的线段对应，并且与关注线La在实际空间上离开预定距离的线设定为参照线Lr。

接着，亮度差计算部35在步骤S25中，在关注线La上设定多个关注点Pa。此时，亮度差计算部35设定在边缘线检测部36的边缘检测时不成为问题的程度的数量的关注点Pa。另外，亮度差计算部35在步骤S26中设定参照点Pr，使得在实际空间上关注点Pa和参照点Pr为大致相同高度。由此，关注点Pa和参照点Pr在大致水平方向上排列，容易检测出实际空间上在铅直方向上延伸的边缘线。

接着，亮度差计算部35在步骤S27中计算在实际空间上成为相同高度的关注点Pa和参照点Pr的亮度差。然后，边缘检测部36按照上述式(1)计算各关注点P a的属性s。然后，边缘线检测部36在步骤S28中按照上述式(2)计算各关注点Pa的属性s的连续性c。然后，边缘线检测部36在步骤S29中按照上述式(3)判定将连续性c的总和正规化而得的值是否大于阈值θ。当判断出正规化而得的值大于阈值θ时(S29：是)，边缘线检测部36在步骤S30中将该关注线La检测为边缘线。然后，处理转移到步骤S31。当判断出正规化而得的值不大于阈值θ时(S29：否)，边缘线检测部36不将该关注线La检测为边缘线，处理转移到步骤S31。该阈值θ可以预先设定，也可以在控制部39中根据控制命令来变更。

在步骤S31中，亮度差计算部35针对在检测区域A1上可设定的全部关注线La判断是否执行了上述步骤S23～步骤S30的处理。在判断出未针对全部关注线La进行上述处理的情况下(S31：否)，将处理返回步骤S23，新设定关注线La，重复直到步骤S31为止的处理。另一方面，在判断出针对全部关注线La进行了上述处理的情况下(步骤S31：是)，处理转移到图30的步骤S32。

在图30的步骤S32中，立体物检测部37针对在图29的步骤S30中检测出的各边缘线，计算沿该边缘线的亮度变化。立体物检测部37按照上述式(4)、(5)、(6)的某式计算边缘线的亮度变化。接着，立体物检测部37在步骤S33中将边缘线中亮度变化大于预定阈值的边缘线排除。即，判定亮度变化大的边缘线不是正确的边缘线，在立体物的检测中不使用边缘线。如上所述，这是为了抑制将在检测区域A1中包含的路面上的文字或路边的杂草等检测为边缘线。因此，所谓预定的阈值，是预先通过实验等求出的、基于由于路面上的文字或路边的杂草等产生的亮度变化而设定的值。

然后，立体物检测部37在步骤S34中判断边缘线的量是否在第2阈值β以上。此外，该第2阈值β也可以预先通过实验等求出并设定，按照图15所示的控制部39发出的控制命令而变更，在后面详细描述其细节。例如，在作为检测对象的立体物而设定四轮车的情况下，预先通过实验等，基于在检测区域A1内出现的四轮车的边缘线的数量来设定该第2阈值β。在判定边缘线的量在第2阈值β以上的情况下(S34：是)，立体物检测部37在步骤S35中检测出在检测区域A1中存在立体物。另一方面，在判定边缘线的量不在第2阈值β以上的情况下(S34：否)，立体物检测部37判断在检测区域A1中不存在立体物。此后，图29以及图30所示的处理结束。检测出的立体物，可以判断为在本车辆V行驶的车道的相邻的邻接车道内行驶的其他车辆VX，也可以考虑检测出的立体物相对于本车辆V的相对速度来判断是否是在邻接车道内行驶的其他车辆VX。该第2阈值β可以预先设定，但也可以根据控制部39的控制命令来变更。

如上所述，根据本实施方式的利用边缘信息的立体物的检测方法，为了检测在检测区域A1、A2中存在的立体物，针对俯视图像设定作为实际空间中在铅直方向上延伸的线段的铅直虚拟线。然后，可以针对沿铅直虚拟线的多个位置的每个位置，计算各该位置附近的两个像素的亮度差，根据该亮度差的连续性来判定有无立体物。

具体来说，针对俯视图像中的检测区域A1、A2，设定与实际空间中在铅直方向上延伸的线段对应的关注线La、与关注线La不同的参照线Lr。然后，沿着关注线La和参照线Lr连续地求出关注线La上的关注点Pa和参照线Lr上的参照点Pr的亮度差。这样，通过连续地求出点之间的亮度差，求出关注线La和参照线Lr的亮度差。在关注线La和参照线Lr的亮度差高的情况下，在关注线La的设定位置存在立体物的边缘的可能性高。由此，可以根据连续的亮度差来检测立体物。特别是为了进行实际空间中在铅直方向上延伸的铅直虚拟线彼此的亮度比较，通过变换为俯视图像，即使立体物对应于离开路面的高度而被拉伸，也不影响立体物的检测处理。因此，根据本例的方法，可以提高立体物的检测精度。

另外，在本例中求出铅直虚拟线附近的大致相同高度的两个点的亮度差。具体来说，根据实际空间上为大致相同高度的关注线La上的关注点Pa和参照线Lr上的参照点Pr求出亮度差，因此，可以明确地检测出在铅直方向上延伸的边缘存在的情况下的亮度差。

而且，在本例中根据关注线La上的关注点Pa和参照线Lr上的参照点Pr的亮度差对关注点Pr赋予属性，根据沿关注线La的属性的连续性c判断该关注线La是否为边缘线，因此，将亮度高的区域和亮度低的区域的边界检测为边缘线，可以进行符合人的自然的感觉的边缘检测。详细说明该效果。图31是表示用于说明边缘线检测部36的处理的图像例的图。该图像例是表示亮度高的区域和亮度低的区域重复的纹路的第一纹路101、和表示亮度低的区域和亮度高的区域重复的纹路的第二纹路102邻接的图像。另外，该图像例中，第一纹路101的亮度高的区域与第二纹路102的亮度低的区域邻接，并且第一纹路101的亮度低的区域与第二纹路102的亮度高的区域邻接。位于该第一纹路101和第二纹路102的边界的部位103，有由于人的感觉而不被识别为边缘的倾向。

与此相对，由于亮度低的区域与亮度高的区域邻接，因此，当仅通过亮度差检测边缘时，该部位103被识别为边缘。但是，边缘线检测部36除了部位103的亮度差以外，仅在该亮度差的属性中具有连续性的情况下将部位103判定为边缘线，因此，边缘线检测部36可以抑制将作为人的感觉而不识别为边缘线的部位103识别为边缘线的误判定，可以进行符合人的感觉的边缘检测。

而且，在本例中，通过边缘线检测部36检测出的边缘线的亮度变化大于预定阈值的情况下，判断出由于误判定而检测出该边缘线。在将通过摄像机1取得的摄像图像变换为俯视图像的情况下，在该摄像图像中包含的立体物，有在被拉伸的状态下呈现在俯视图像中的倾向。例如，如上述那样其他车辆VX的轮胎被拉伸的情况下，由于轮胎这1个部位被拉伸，因此，有被拉伸的方向上的俯视图像的亮度变化小的倾向。与此相对，在路面上描绘的文字等被误判定为边缘线的情况下，在俯视图像中混合含有文字部分这样亮度高的区域与路面部分这样亮度低的部分。在这种情况下，在俯视图像中，被拉伸的方向的亮度变化有增大的倾向。因此，通过如本例这样判定沿着边缘线的俯视图像的亮度变化，可以识别由于误判定而检测出的边缘线，可以提高立体物的检测精度。

《立体物的最终判断》

返回图15，在上述的两个立体物检测部33(或立体物检测部37)的立体物的检测时，本例的车载用周围环境识别装置100中的其他车辆识别部204b具备立体物判断部34、虚像判断部38和控制部39。立体物判断部34基于立体物检测部33(或立体物检测部37)的检测结果，最终判断检测出的立体物是否是在检测区域A1、A2中存在的其他车辆VX。立体物检测部33(或立体物检测部37)进行反映了后述的虚像判断部38的判断结果的立体物的检测。虚像判断部38根据与检测出的立体物对应的图像的纹理分析的结果，判断检测出的立体物是否是在路面上形成的水膜等中映入了建筑物等的像的虚像。控制部39在通过虚像判断部38判断出与检测出的立体物对应的图像是虚像的情况下，以抑制将检测出的立体物判断为在检测区域A1、A2中存在的其他车辆V的方式，输出对构成其他车辆识别部204b的各部(包含控制部39)进行控制的控制命令。

本实施方式的立体物判断部34最终判断在立体物检测部33、37中检测出的立体物是否是在检测区域A1、A2中存在的其他车辆VX。在立体物判断部34判断出所检测出的立体物是在检测区域A1、A2中存在的其他车辆VX的情况下，执行向乘务员报知等处理。该立体物判断部34可以按照控制部39的控制命令，抑制将检测出的立体物判断为其他车辆VX。具体来说，在通过虚像判断部38判断出检测出的立体物的像是虚像的情况下，控制部39向立体物判断部34送出抑制将检测出的立体物判断为其他车辆VX的控制命令。立体物判断部34按照该控制命令中止立体物的判断处理，或判断为检测出的立体物不是其他车辆VX，即在检测区域A1、A2中不存在其他车辆VX。当然，在不取得控制命令的情况下，也可以将在立体物检测部33、37中检测出的立体物判断为在检测区域A1、A2中存在的其他车辆VX。

说明本实施方式的虚像判断部38的处理。本实施方式的虚像判断部38可以基于通过立体物检测部33生成的差分波形信息，判断检测的立体物的像是否为虚像。虽未特别限定，但本实施方式的虚像判断部38，在与立体物对应的图像信息、特别是与沿着铅直方向的立体物的轮廓对应的图像信息的图像区域的亮度差不足预定值的情况下，将在包含图像区域的区域中检测出的立体物判断为虚像。

具体来说，虚像判断部38在沿着对俯视图像进行视点变换时立体物倾斜的方向的判定线(图17的La～Lf)中，确定在差分波形信息中计数的度数在预定值以上的一条基准判定线(例如La)，判断基准判定线(La)上的图像区域的亮度与包含与基准判定线相邻的判定线(Lc或Ld)的一条或多条比较判定线(Lb、Lc、Ld、Le)上的图像区域的亮度的亮度差是否不足预定值，在亮度差不足预定值的情况下，判断出在包含图像区域的区域中检测出的立体物是虚像。亮度差的比较，可以比较基准判定线(La)上的某一个像素或包含该像素的图像区域的亮度、与比较判定线(Lb、Lc、Ld、Le)的某一个像素或包含该像素的图像区域的亮度。另外，可以基于图17所示的差分波形信息中的表示预定的差分的像素数或进行度数分布化而得的值来判断亮度差。

作为沿着将俯视图像进行视点变换时立体物倾斜的方向的判定线，邻接的多条判定线上的像素或图像区域的亮度差小，与检测出的立体物对应的图像区域的对比度低的情况下，可以判断出该图像不是从实在的立体物得到的像，而是立体物映入路面的水坑(水膜)而得的虚像。

此时，在包含与基准判定线(La)上的图像区域的亮度的亮度差不足预定值的图像区域的比较判定线(Lb、Lc、Ld、Le)在预定数以上时，虚像判断部38可以判断在包含图像区域的区域中检测出的立体物是虚像。这样，通过在宽范围内验证有无对比度来判断是否是虚像，能够准确地进行是否是虚像的判断。

图32是表示在检测区域A2内的路面上形成水坑(水膜)，在其表面上映入了周围的构造物的像的状态的图。图33、图34表示根据在检测区域A1中实际存在的其他车辆VX的图像的俯视图像而生成的差分波形信息DWt1、根据在检测区域A2中形成的水膜中映入了周围的构造物的像的图像的俯视图像而生成的差分波形信息DWt2。如图33的左侧的图以及图34(A)所示，在根据实际存在的其他车辆VX的俯视图像而生成的差分波形DWt1中，检测出沿着立体物的倾斜方向的表示预定差分的像素，发现与立体物的外观特征对应的峰值，与此相对，如图33的右侧的图以及图34(B)所示，在根据周围构造物映入水膜而得的虚像的俯视图像而生成的差分波形信息DWt2中，沿着立体物的倾斜方向的表示预定差分的像素数没有变化，没有立体物特有的峰值。这样，在本实施方式中，利用在路面的水膜上映入了周围构造物的虚像的图像对比度低的特征，可以判断与检测出的立体物对应的像是实像还是虚像。

另外，从同样的观点出发，本实施方式的虚像判断部38基于通过立体物检测部37生成的边缘信息，可以判断检测的立体物的像是否是虚像。具体来说，虚像判断部38在沿着对俯视图像进行视点变换时立体物倾斜的方向的判定线(图26的La～Ld，Lr)中，确定检测出互相邻接的图像区域的亮度差在预定阈值以上的边缘的一条基准判定线(例如Lr)，在基准判定线(Lr)上的图像区域的亮度与包含与基准判定线(Lr)相邻的判定线(Lb～Lc)的一条或多条比较判定线(La～Ld)上的图像区域的亮度的亮度差不足预定值的情况下，判断为在包含图像区域的区域中检测出的立体物是虚像。此时，虚像判断部38，在包含与基准判定线(Lr)上的图像区域的亮度的亮度差不足预定值的图像区域的比较判定线(Lb～Lc)在预定数以上的情况下，可以判断在包含图像区域的区域中检测出的立体物是虚像。这样，通过在宽范围内验证有无对比度来判断是否是虚像，可以准确地进行是否是虚像的判断。

本实施方式的虚像判断部38基于检测区域A1和检测区域A2的图像信息的对比度，判断与检测出的立体物对应的图像信息是虚像或实像。本实施方式中，基于检测区域A1与检测区域A2的图像信息的纹理的特征量来计算图像信息的对比度。在本实施方式中，图像信息的纹理的提取、评价、定量等的方法，可以适当地应用在提出本申请时公知的纹理分析方法。

接着，说明控制部39。本实施方式的控制部39，在前一次的处理中由虚像判断部38判断为通过立体物检测部33检测出的立体物是虚像的情况下，可以生成在下一次处理中在立体物检测部33、37、立体物判断部34、虚像判断部38或自身即控制部39的任意一个以上的各部中执行的控制命令。

本实施方式的控制命令是用于以抑制将检测出的立体物判断为其他车辆VX的方式控制各部的动作的命令。为了防止将周围构造物映入路面的水膜的虚像误判断为其他车辆VX。本实施方式的其他车辆识别部204b是计算机，因此，针对立体物检测处理、立体物判断处理、虚像判断处理的控制命令可以预先组入各处理程序中，也可以在执行时送出。本实施方式的控制命令，可以是与使将检测出的立体物判断为其他车辆的处理中止，或者不将检测出的立体物判断为其他车辆的结果对应的命令，也可以是使得基于差分波形信息来检测立体物时的灵敏度降低的命令，调整基于边缘信息来检测立体物时的灵敏度的命令、对判断是否是虚像时的亮度差的值进行调整的命令。

以下，说明控制部39输出的各控制命令。

首先，说明基于差分波形信息来检测立体物时的控制命令。如上所述，立体物检测部33根据差分波形信息与第1阈值α来检测立体物。然后，本实施方式的控制部39，在虚像判断部38判断出与立体物对应的像是虚像时，生成提高第1阈值α的控制命令并输出到立体物检测部33。第1阈值α是用于在图23的步骤S7中判断差分波形DW_t的峰值的第1阈值α(参照图17)。另外，控制部39可以将提高与差分波形信息中的像素值的差分相关的阈值p的控制命令输出到立体物检测部33。

在前一次的处理中将与立体物对应的图像信息判断为虚像时，控制部39判断在检测区域A1、A2中形成了水膜，在检测区域A1、A2的图像信息中映入周围的构造物的可能性高。这样，用与通常相同的方法来检测立体物时，尽管检测区域A1、A2中不存在其他车辆VX，也有时将映入水膜的虚像误检测为其他车辆VX的实像。因此，在本实施方式中，将与生成差分波形信息时的像素值的差分相关的阈值变高，使得在下一次的处理中难以检测出立体物。这样，通过将判断的阈值变高，调整检测灵敏度使得难以检测在本车辆V的行驶车道的旁边行驶的其他车辆VX，因此可以防止将映入水膜的周围构造物误检测为在相邻的车道内行驶的其他车辆VX。

另外，本实施方式的控制部39，在虚像判断部38判断出与立体物对应的图像信息是虚像时，可以向立体物检测部33输出降低输出对在俯视图像的差分图像上表示预定差分的像素数进行计数并进行度数分布化而得的值的控制命令。在俯视图像的差分图像上计数表示预定差分的像素数并进行度数分布化而得的值，是在图23的步骤S5中生成的差分波形DW_t的纵轴的值。当在前一次的处理中判断出立体物是虚像时，控制部39可以判断出在检测区域A1、A2中形成了水膜的可能性高，因此，将差分波形DW_t的度数分布化而得的值变低，使得在下一次的处理中在检测区域A1、A2中难以误检测出其他车辆VX。这样，通过降低输出值来调整检测灵敏度，使得难以检测在本车辆V的行驶车道的旁边行驶的其他车辆VX，因此，可以防止将在水膜上形成的虚像误检测为在相邻车道内行驶的其他车辆VX。

接着，说明根据边缘信息来检测立体物的情况下的控制命令。本实施方式的控制部39在通过虚像判断部38判断出与立体物对应的图像信息是虚像时，向立体物检测部37输出提高检测边缘信息时使用的与亮度有关的预定阈值的控制命令。在检测边缘信息时使用的与亮度有关的预定阈值，是判断图29的步骤S29中的将各关注点Pa的属性的连续性c的总和正规化而得的值的阈值θ、或图30的步骤S34中的评价边缘线的量的第2阈值β。控制部39在前一次的处理中判断出立体物是虚像时，可以判断出在检测区域A1、A2中形成水膜，在该水膜中映入周围构造物的可能性高，因此将检测边缘线时使用的阈值θ或评价边缘线的量的第2阈值β变高，使得在下一次的处理中难以检测立体物。这样，通过将判断的阈值变高来调整检测灵敏度，使得难以检测在本车辆V的行驶车道的旁边行驶的其他车辆VX，因此可以防止将映入水膜的周围构造物的虚像误检测为在相邻的车道内行驶的其他车辆VX。

另外，本实施方式的控制部39在通过虚像判断部38判断出与立体物对应的图像信息是虚像时，向立体物检测部37输出降低输出检测出的边缘信息的量的控制命令。检测出的边缘信息的量是图29的步骤S29中的将各关注点Pa的属性的连续性c的总和正规化的值，或图30的步骤S34中的边缘线的量。控制部39当在前一次的处理中判断出立体物是虚像时，可以判断出在水坑等水膜中映入了周围构造物的可能性高，因此将对各关注点Pa的属性的连续性c的总和正规化的值或边缘线的量变低，使得在下一次的处理中难以检测立体物。这样，通过降低输出值，以难以检测在本车辆V的行驶车道的旁边行驶的其他车辆VX的方式减小输出值，由此调整检测灵敏度，因此可以防止将映入水膜的周围构造物的虚像误检测为在相邻的车道内行驶的其他车辆VX。

而且，本实施方式的控制部39在检测区域A1、A2的亮度在预定值以上时，可以生成进一步提高第1阈值α、阈值p、第2阈值β或阈值θ的某一个的控制命令，并输出到立体物检测部33、37。检测区域A1、A2的亮度可以根据摄像机1的摄像图像来取得。在检测区域A1、A2的亮度高于预定值而明亮的情况下，可以判断出在检测区域A1、A2中形成了反射光的水膜的可能性高。在本实施方式中，在检测区域A1、A2的亮度高于预定值时，通过提高阈值来调整检测灵敏度，使得难以检测在本车辆V的行驶车道的旁边行驶的其他车辆VX，由此可以防止将映入水膜的周围构造物的虚像误检测为在相邻的邻接车道内行驶的其他车辆VX。

而且，本实施方式的控制部39从车速传感器5取得本车辆V的移动速度，在通过车速传感器5检测出的本车辆V的移动速度不足预定值时，可以生成进一步提高第1阈值α、阈值p、第2阈值β或阈值θ的控制命令并输出到立体物检测部。当本车辆V的移动速度低时，有差分波形信息中的差分以及边缘信息中的差分的识别能力降低的倾向。即，当本车辆V的移动速度低时，有时立体物的存在未准确反映到差分波形信息或边缘信息中。因此，在本实施方式中，在本车辆的移动速度不足预定值时，通过提高阈值来调整检测灵敏度，使得难以检测在本车辆V的行驶车道的旁边行驶的其他车辆VX，由此可以防止将映入水膜的周围构造物的虚像误检测为在相邻的邻接车道内行驶的其他车辆VX。

而且，本实施方式的控制部39，在上述的立体物检测部33、37检测出的立体物相对于本车辆V的相对移动速度在预定值范围以内时，将立体物判断为其他车辆VX等检测对象的处理中调整检测灵敏度，使得难以检测在本车辆V的行驶车道的旁边行驶的其他车辆VX。具体来说，本实施方式的控制部39，在虚像判断部38将立体物判断为虚像的情况下，生成缩小立体物检测部33、37中的用于评价相对移动速度的预定值域的控制命令，并输出到立体物检测部33、37。在前一次的处理中判断检测出的立体物为虚像时，可以推测立体物是在路面上形成的水膜的像，作为立体物而检测出的是静止物。为了不将这样的静止物误检测为其他车辆VX，可以缩小在是否为其他车辆VX的判断中使用的相对移动速度的预定值域来提高检测灵敏度。

在此情况下，控制部39可以生成将用于评价相对移动速度的预定值域的负值所示的下限值变更为高值来缩小预定值域的控制命令。具体来说，控制部39将被定义为－20km～10km的预定值域中负值所示的下限值变更为高值，例如可以定义为－5km～100km。负值所示的相对移动速度是相对于本车辆V的行进方向向后方行进的速度。在前一次的处理中判断所检测出的立体物是虚像的情况下，可以推测立体物是在路面上形成的水膜的像，作为立体物而检测出的是静止物。静止物有可能向行驶的本车辆V的后方移动，因此，以负值所示的预定速度以上向后方行进的是水膜的可能性高，因此，为了不将其误检测为其他车辆VX，为了将其排除而在预定值域内将负值所示的下限值变更为高值。这样，通过将负值所示的下限值变更为高值，可以不将以预定速度以上向后方移动的水膜等误检测为其他车辆VX。

在调整与速度相关的阈值时，在检测区域A1、A2的亮度在预定值以上的情况下，控制部39可以生成进一步缩小用于评价相对移动速度的预定值域的控制命令，并输出到立体物检测部33、37。检测区域A1、A2的亮度如上所述，可以根据摄像机1的图像信息来取得。在检测区域A1、A2的亮度高于预定值而明亮的情况下，可以判断在检测区域A1、A2中形成了反射光的水膜的可能性高。在本实施方式中，在检测区域A1、A2的亮度高于预定值的情况下，进一步缩小用于评价相对移动速度的预定值域来调整检测灵敏度，使得难以检测在本车辆V的行驶车道的旁边行驶的其他车辆VX，由此，可以防止将映入水膜的周围构造物的虚像误检测为在相邻的邻接车道内行驶的其他车辆VX。

同样，当调整与速度有关的阈值时，控制部39从车速传感器5取得本车辆V的移动速度，在通过车速传感器5检测出的本车辆V的移动速度不足预定值时，可以生成进一步缩小用于评价相对移动速度的预定值域的控制命令，并输出到立体物检测部33、37。本车辆V的移动速度低时，有差分波形信息中的差分以及边缘信息中的差分的识别能力降低的倾向。即，本车辆V的移动速度低时，有时立体物的存在未准确反映在差分波形信息或边缘信息中，具有将其他车辆VX以外的物体也检测为立体物的倾向。因此，在本实施方式中，在本车辆的移动速度不足预定值时，进一步缩小用于评价相对移动速度的预定值域，通过提高阈值来调整检测灵敏度，使得难以检测在本车辆V的行驶车道的旁边行驶的其他车辆VX，由此能够防止将映入水膜的周围构造物的虚像误检测为在旁边的邻接车道内行驶的其他车辆VX。

以下，参照图35～图39，说明控制部39以及取得了控制命令的立体物判断部34、立体物检测部33、37的动作。图35～39所示的处理是在前一次的立体物检测处理之后，利用前一次处理的结果来进行的本次的立体检测处理。

首先，在图35所示的步骤S41中，虚像判断部38判断通过立体物检测部33检测出的立体物是否是虚像。可以根据检测出的立体物的图像信息的对比度来判断立体物是否是虚像。在这种情况下，也可以根据所述的由立体物检测部33生成的差分波形信息来进行判断，也可以根据立体物检测部37生成的边缘信息来进行判断。

然后，在步骤42中，控制部39在步骤41中计算出的虚像的判断中，判断检测出的立体物是否是虚像。

控制部39在检测出的立体物是虚像时，向各部输出控制命令，使得抑制将检测出的立体物判断为其他车辆VX。作为其一个例子，进入步骤S46，控制部39向立体物判断部34输出中止立体物的检测处理的内容的控制命令。另外，作为另一例，进入步骤S47，控制部39也可以判断检测出的立体物不是其他车辆VX。

在检测出的立体物不是虚像的情况下进入步骤S43，进行立体物的检测处理。该立体物的检测处理，按照上述的立体物检测部33的图23、图24的使用差分波形信息的处理、或立体物检测部37的图29、图30的使用边缘信息的处理来进行。并且，在步骤S43中，在通过该立体物检测部33、37在检测区域A1、A2中检测出立体物的情况下进入步骤S45，判断检测出的立体物是其他车辆VX。另一方面，在通过立体物检测部33、37在检测区域A1、A2中未检测出立体物的情况下进入步骤S47，判断在检测区域A1、A2中不存在其他车辆VX。

图36表示其他处理例。控制部39在步骤42中将检测出的立体物判断为虚像时进入步骤S51，向立体物检测部33、37送出将生成差分波形信息时的与像素值的差分相关的阈值p、根据差分波形信息判断立体物时使用的第1阈值α、生成边缘信息时的阈值θ、根据边缘信息判断立体物时使用的第2阈值β的任意一个以上设定得高的意思的控制命令。如上所述，第1阈值α用于在图23的步骤S7中判断差分波形DW_t的峰值。阈值θ是图29的步骤S29中的判断将各关注点Pa的属性的连续性c的总和正规化而得的值的阈值。第2阈值β是图30的步骤S34中的评价边缘线的量的阈值。此外，控制部39也可以代替提高阈值而生成降低通过阈值评价的输出值的控制命令，并输出到立体物检测部33、37。其他处理与图35所示的处理相同。

另外，如图37所示，控制部39在步骤42中将检测出的立体物判断为虚像的情况下进入步骤S52，判断检测区域A1、A2的亮度是否在预定值以上。在检测区域A1、A2的亮度在预定值以上的情况下进入步骤S53，可以生成进一步提高图36的步骤S51的阈值的控制命令并输出到立体物检测部33、37。此外，控制部39也可以代替提高阈值而生成进一步降低通过阈值评价的输出值的控制命令，并输出到立体物检测部33、37。其他处理与图35所示的处理相同。

而且，如图38所示，控制部39在步骤42中将检测出的立体物判断为虚像的情况下进入步骤S54，判断本车辆的移动速度是否不足预定值。在本车辆的移动速度不足预定值时进入步骤S55，可以生成进一步提高图36的步骤S51的阈值的控制命令，并输出到立体物检测部33、37。此外，控制部39代替提高阈值而生成进一步降低通过阈值评价的输出值的控制命令，其他处理与图35所示的处理相同。

此外，在降低输出值的情况下，控制部39向立体物检测部33输出将对在俯视图像的差分图像上表示预定差分的像素数计数并进行度数分布化而得的值降低输出的控制命令。对在俯视图像的差分图像上表示预定差分的像素数计数并进行度数分布化而得的值，是在图23的步骤S5中生成的差分波形DW_t的纵轴的值。同样，控制部39可以向立体物检测部37输出将检测出的边缘信息的量降低输出的控制命令。检测出的边缘信息的量，是图29的步骤S29中的将各关注点Pa的属性的连续性c的总和正规化而得的值、或图30的步骤34中的边缘线的量。控制部39在前一次的处理中判断所检测出的立体物是虚像的情况下，可以判断在检测区域A1、A2中形成了水膜，因此，为了在下一次的处理中难以检测出立体物，可以向立体物检测部37输出将对各关注点Pa的属性的连续性c的总和正规化而得的值或边缘线的量变低的控制命令。

图39中表示另一处理例。控制部39在步骤42中判断出所检测的立体物是虚像的情况下进入步骤S61，生成缩小用于评价相对移动速度的预定值域的控制命令，并输出到立体物检测部33、37。另外，立体物检测部33、37，在检测出的立体物相对于本车辆的相对移动速度在预定值域以内的情况下，将立体物作为其他车辆等检测对象，将检测结果送出到立体物判断部34。

在图5的步骤S130中，应用执行部204的其他车辆识别部204b可以执行以上说明的其他车辆识别处理。

根据以上说明的本发明的第一实施方式，起到如下作用效果。

(1)车载用周围环境识别装置100，根据通过摄像机1取得的摄像图像，通过应用执行部204识别在车辆的周围行驶的其他车辆，检测其他车辆相对于车辆的相对速度(步骤S130)。另外，通过映入判定部203，基于摄像图像来判定有无背景物向路面的映入(步骤S180)。并且，在步骤S180中判定为有映入的情况下，停止从警报控制部205向警报输出部3的警报输出信号(步骤S200)，抑制警报输出部3的警报的输出。此时，基于步骤S130中检测出的其他车辆的相对速度，通过警报抑制调整部206调整警报信号的输出的抑制程度(步骤S160),根据该调整后的抑制程度抑制警报信号的输出。因此，可以防止由于将背景物向路面的映入误检测为车辆而导致在错误的定时输出警报。

(2)警报抑制调整部206，在步骤S160中使用于映入判定部203判定有无背景物向路面的映入的条件根据其他车辆的相对速度而改变，由此可以调整警报信号的输出的抑制程度。具体来说，在步骤S180中比较各区域的特征量，根据其相关性改变判定有无背景物向路面的映入时的基准值，由此进行警报抑制程度的调整。即，车载用周围环境识别装置100通过区域设定部201在通过摄像机1取得的摄像图像30中设定背景区域34a～34f以及36a～36f、映入区域35a～35f以及37a～37f(步骤S20)。在步骤S180中，映入判定部203比较摄像图像30中背景区域34a～34f、36a～36f内的图像、和摄像图像30中映入区域35a～35f、37a～37f内的图像，通过判定其相关性是否在预定阈值以上，判定有无背景物向路面的映入。在步骤S160中，根据其他车辆的相对速度来改变该阈值，更具体来说，通过在其他车辆的相对速度在预定范围内时降低阈值，进行警报抑制程度的调整。因此，可以容易且可靠地进行警报抑制程度的调整。而且，可以放宽在步骤S180中用于判定有无背景物的映入的条件，使得容易进行警报抑制。

(3)警报抑制调整部206通过改变在步骤S170中计算各区域的特征量时的条件，也可以进行警报抑制程度的调整。即，车载用周围环境识别装置100，通过特征量计算部202在背景区域34a～34f、36a～36f内的图像、和映入区域35a～35f、37a～37f内的图像中分别检测满足预定检测条件的边缘，针对背景区域34a～34f、36a～36f和映入区域35a～35f、37a～37f分别计算与检测出的边缘对应的特征量(步骤S170)。在步骤S180中，映入判定部203通过比较背景区域34a～34f、36a～36f的特征量和映入区域35a～35f、37a～37f的特征量，判定有无背景物向路面的映入。在步骤S160中，使该检测条件根据其他车辆的相对速度而变化。更具体来说，在其他车辆的相对速度在预定范围内的情况下降低作为边缘检测条件的亮度差，由此进行警报抑制程度的调整。这样也能够容易且可靠地进行警报抑制程度的调整。而且，可以放宽在步骤S180中用于判定有无背景物的映入的条件，使得容易进行警报抑制。

(第二实施方式)

接着，说明本发明的第二实施方式。在以上说明的第一实施方式中，说明了当从映入判定部203接收有映入的通知时，通过停止从警报抑制部205对警报输出部3输出警报输出信号来抑制警报输出的情况下的例子。与此相对，在本实施方式中，说明当从映入判定部203接收有映入的通知时，使得在应用执行部204的其他车辆识别部204b执行的其他车辆识别处理中难以识别其他车辆，由此抑制警报输出的情况下的例子。此外，本实施方式的车载用周围环境识别装置100的结构、与路面映入时的警报抑制相关的控制部2的控制框图与图1、图4分别所示的相同。因此，以下省略它们的说明。

图40是本实施方式中在路面映入时的警报抑制中执行的处理的流程图。该流程图所示的处理与所述第一实施方式中说明的图5的流程图同样，在应用程序(应用)的执行中，在控制部2中以预定的处理周期进行。

此外，在图40的流程图中，对于进行与图5的流程图相同的处理的处理步骤赋予与图5相同的步骤编号。以下，关于该与图5相同的步骤编号的各处理步骤的说明，只要不特别需要则省略。

在步骤S161中，控制部2通过警报抑制调整部206执行警报抑制程度的调整。在此，通过以下的(A)、(B)、(C)的某种方法调整警报抑制程度，使得在其他车辆的相对速度在预定范围内的情况下，与其他情况相比更容易进行警报抑制。

(A)其他车辆识别条件的变更

在该方法中，在下次以后的步骤S130的其他车辆识别处理中，变更判定为有背景物向路面的映入时的其他车辆识别条件。即，作为基于在摄像图像中设定的检测区域内的图像的图像信息值，取得差分波形信息，并基于该差分波形信息来执行所述的基于差分波形信息的立体物的检测，由此识别其他车辆的情况下，增大用于根据差分波形DW_t判断是否存在立体物的阈值，具体来说图23的步骤S7的判定中使用的第1阈值α的值。另外，作为基于在摄像图像中设定的检测区域内的图像的图像信息值，取得边缘信息，并基于该边缘信息来执行所述的基于边缘信息的立体物的检测，由此识别其他车辆的情况下，增大用于判断关注线是否是边缘线的阈值、具体来说是式(3)的阈值θ的值。通过调整这些阈值，可以变更其他车辆识别条件。

或者，也可以代替进行上述那样的作为立体物的检测条件的阈值的调整，而变更取得图像信息值时的条件。即，在作为基于在摄像图像中设定的检测区域内的图像的图像信息值而取得差分波形信息，基于该差分波形信息来执行所述的基于差分波形信息的立体物的检测，由此识别其他车辆的情况下，增大用于得到在差分波形DW_t的生成中使用的差分图像PD_t的阈值，具体来说是图16(b)中说明的阈值p的值。另外，在作为基于在摄像图像中设定的检测区域内的图像的图像信息值而取得边缘信息，基于该边缘信息来执行所述的基于边缘信息的立体物的检测，由此识别其他车辆的情况下，增大用于对关注点赋予属性的阈值，具体来说是式(1)的阈值t的值。通过调整这些阈值，也可以变更其他车辆识别条件。

通过以上说明的方法，通过严格设定在步骤S130中用于识别其他车辆的条件，可以提高警报输出的抑制程度，使得难以识别其他车辆。由此，调整警报抑制的程度，使得在其他车辆的相对速度在预定范围内的情况下，与其他情况相比更容易进行警报抑制。此外，上述作为立体物的检测条件的阈值的调整、和作为图像信息值的取得条件的阈值的调整，可以仅进行某一方，也可以同时进行双方。

(B)映入判定条件的变更

在该方法中，使用与在所述第一实施方式中说明的相同的方法，变更在步骤S180中用于判定有无背景物向路面的映入的条件。即，降低用于判断图6的背景区域34a～34f和映入区域35a～35f、以及背景区域36a～36f和映入区域37a～37f的各区域间的图像的相关性的阈值。或者，降低针对背景区域34a～34f以及36a～36f、映入区域35a～35f以及37a～37f的各区域的边缘检测条件的亮度差。

通过以上所述的方法，通过放宽在步骤S180中用于判定有无背景物向路面的映入的条件，能够容易得到有映入的判定结果，提高警报输出的抑制程度。由此，调整警报抑制程度，使得在其他车辆的相对速度在预定范围内的情况下，与其他情况相比更容易进行警报抑制。此外，上述的与相关性对应的阈值的调整、边缘检测条件的调整，可以仅进行某一方，也可以同时进行双方。

(C)警报抑制期间的延长

在该方法中，在判定为没有背景物向路面的映入的情况下，延长警报抑制期间。即，在步骤S180的映入判定中判定为没有背景物向路面的映入，此后判定为无映入的情况下，在得到无映入的判定结果后也延长地进行警报的抑制。由此，调整警报抑制程度，使得在其他车辆的相对速度在预定范围内的情况下，与其他情况相比容易进行警报抑制。此外，延长警报抑制的期间，可以设为从判定为没有背景物的映入后其他车辆的相对速度在预定范围内的情况持续的期间，也可以设为预定时间或直到本车辆行驶预定距离为止的期间。

在步骤S161中，可以使用以上说明的(A)～(C)的至少任意一种方法调整警报抑制程度。此外，(A)～(C)的各方法可以分别单独采用，也可以任意组合多个。

在步骤S190中，控制部2与在第一实施方式中说明的图5的流程图同样，根据步骤S180的映入判定的结果，判定有无背景物向路面的映入。在步骤S180中判定为在车辆的左后方以及右后方的至少任意一方中有背景物向路面的映入时，从步骤S190前进到步骤S210。另一方面，在步骤S180中判定为在车辆的左右后方都没有背景物向路面的映入时，从步骤S190前进到步骤S220。

当从步骤S190前进到步骤S210时，控制部2在步骤S210中对下次以后的步骤S130的其他车辆识别处理采用阈值Th1。另一方面，当从步骤S190前进到步骤S220时，控制部2在步骤S220中对下次以后的步骤S130的其他车辆识别处理采用阈值Th0。在此，Th1>Th0。若执行步骤S210或S220,则控制部2结束图40的流程图。

此外，上述的阈值Th1以及Th0与所述的步骤S161中作为在(A)的方法中使用的立体物的检测条件的阈值相当。即，在作为基于在摄像图像中设定的检测区域内的图像的图像信息值而取得差分波形信息，基于该差分波形信息执行所述的基于差分波形信息的立体物的检测，由此识别其他车辆的情况下，作为图23的步骤S7的判定中使用的第1阈值α，采用Th1或Th0的某一个值。另外，在作为基于在摄像图像中设定的检测区域内的图像的图像信息值而取得边缘信息，基于该边缘信息执行所述的基于边缘信息的立体物的检测，由此识别其他车辆的情况下，作为式(3)的阈值θ，采用Th1或Th0的某一个值。

如以上说明的那样，在步骤S180的映入判定中判定为有背景物向路面的映入的情况下，在步骤S210中作为其他车辆识别处理中的阈值，采用比无映入的情况下的阈值Th0高的阈值Th1。通过如此严格设定在步骤S130中用于识别其他车辆的条件，能够抑制警报输出使得难以识别其他车辆。此外，在步骤S161中使用上述(A)的方法的情况下，当其他车辆的相对速度在预定范围内时，通过提高该判定为有背景物向路面的映入时的阈值Th1，或者严格设定判定为有背景物向路面的映入时的图像信息值的取得条件，进一步抑制警报输出。

图41～图45是用于说明通过以上说明那样的本实施方式的车载用周围环境识别装置100得到的误警报的减少效果的图。在这些图中分别举例表示了，设图41(a)～图45(a)中分别表示的其他车辆的相对速度与第一实施方式中说明的图12同样地变化，通过警报抑制调整部206进行的警报输出的抑制程度的调整，来自警报输出部3的警报的输出定时如何变化。

图41以及图42分别表示在图40的步骤S161中使用所述的(A)～(C)中的方法(A)来调整警报抑制程度的情况下的例子。图41是调整了与作为立体物的检测条件的阈值、即所述第1阈值α或阈值θ相当的其他车辆识别的阈值Th1的情况下的例子，图42是调整了作为图像信息值的取得条件的阈值、即所述的阈值p或阈值t的情况下的例子。

在图41中，警报抑制调整部206在从判定为有背景物向路面的映入的时刻Tr1到Tr2的期间以及从时刻Tr3到时刻Tr4的期间，如图41(c)所示，通过将用于识别其他车辆的阈值从Th0变更为Th1来抑制警报输出。而且，在从时刻Tr3到时刻Tr4的期间，由于其他车辆的相对速度在预定范围内，因此通过提高阈值Th1来执行警报输出的抑制程度的调整。此外，在图41(c)中虚线所示的部分表示不执行警报输出的抑制程度的调整的情况下的阈值Th1。

通过如上所述那样调整警报输出的抑制程度，严格设定用于识别其他车辆的条件，在应用执行部204的其他车辆识别部204b中难以识别其他车辆。其结果，例如图41(c)所示，开始识别其他车辆的定时从图像信息值50超过调整前的阈值Th1的时刻To3变更为判定为无映入而结束警报输出的抑制的时刻Tr4。此外，图像信息值50低于阈值Th0而结束其他车辆的识别的定时，保持时刻To4而不变更。由此，如图41(d)所示，警报输出的期间被缩短为从时刻Tr4到时刻To4的期间。此外，在图41(d)中虚线所示的部分是不执行警报输出的抑制程度的调整的情况下的警报输出的定时，表示除上述期间以外，在从时刻To3到时刻Tr4的期间也进行警报输出。

如上所述，在从其他车辆的相对速度在预定范围内，并且判定为有映入的时刻Tr3到时刻Tr4的期间，通过变更用于识别其他车辆的阈值Th1来调整警报输出的抑制程度。其结果，可以抑制从时刻To3到时刻Tr4的期间中的警报输出。

在图42中，警报抑制调整部206在从判定为有背景物向路面的映入的时刻Tr1到时刻Tr2的期间以及从时刻Tr3到时刻Tr4的期间，与图41的情况同样地，通过将用于识别其他车辆的阈值从Th0变更为Th1来抑制警报输出。而且，在从时刻Tr3到时刻Tr4的期间，由于其他车辆的相对速度在预定范围内，因此通过严格设定取得图像信息值时的条件，执行警报输出的抑制程度的调整。

通过如上那样调整警报输出的抑制程度，严格设定用于识别其他车辆的条件，在应用执行部204的其他车辆识别部204b中，得到的图像信息值50例如如图42(c)所示那样减少，难以识别其他车辆。此外，在图42(c)中，图像信息值50中虚线所示的部分表示不执行警报输出的抑制程度的调整的情况下的值。其结果，例如如图42(c)所示，开始识别其他车辆的定时从调整前的图像信息值50超过阈值Th1的时刻To3变更为被判定为无映入而结束警报输出的抑制的时刻Tr4。由此，如图42(d)所示，警报输出的期间与图41的情况同样，被缩短为从时刻Tr4到时刻To4的期间。此外，在图42(d)中虚线所示的部分是不执行警报输出的抑制程度的调整的情况下的警报输出的定时，表示除了上述期间以外，在从时刻To3到时刻Tr4的期间也进行警报输出。

如上所述，在从其他车辆的相对速度在预定范围内，并且判定为有映入的时刻Tr3到时刻Tr4的期间，通过严格设定取得用于识别其他车辆的图像信息值50时的条件，调整警报输出的抑制程度，与此对应地变更图像信息值50。其结果，可以抑制从时刻To3到时刻Tr4的期间的警报输出。

图43表示在图40的步骤S161中，使用所述的(A)～(C)中的方法(B)来调整警报抑制程度的情况下的例子。

在图43中，警报抑制调整部206与第一实施方式中说明的图12的情况同样，在图43(a)所示的其他车辆的相对速度在预定范围内的时刻Tv1到时刻Tv2的期间，通过放宽用于判定有无背景物向路面的映入的条件，执行警报输出的抑制程度的调整。由此，在映入判定部203中容易得到有映入的判定结果。其结果，例如如图43(b)所示，判定为无映入的定时从时刻Tr4移动到时刻Tr4a，延长得到有映入的判定结果的期间。

如上那样延长得到有映入的判定结果的期间时，与此对应地，如图43(c)所示，抑制警报输出的期间也延长相同量。即，将用于识别其他车辆的阈值从Th1降低到Th0的定时从时刻Tr4变更为时刻Tr4a。其结果，其他车辆的识别结束的定时，从图像信息值50低于不抑制警报输出的情况下的阈值Th0的时刻To4，被变更为图像信息值50低于抑制了警报输出的情况下的阈值Th1的时刻To4a。此外，图像信息值50超过阈值Th1而开始识别其他车辆的定时，维持时刻To3而不变更。由此，如图43(d)所示，警报输出的期间被缩短为从时刻To3到时刻To4a的期间。此外，图43(d)中虚线所示的部分是不执行警报输出的抑制程度的调整的情况下的警报输出的定时，表示除了上述期间外，在从时刻To4a到时刻To4的期间也进行警报输出。

如上所述，在从其他车辆的相对速度在预定范围内的时刻Tv1到时刻Tv2的期间，通过放宽用于判定有无背景物向路面的映入的条件，调整警报输出的抑制程度，与此对应地延长得到有映入的判定结果的期间。其结果，可以抑制从时刻To4a到时刻To4的期间的警报输出。

图44表示在图40的步骤S161中使用所述的(A)～(C)中的方法(C)来调整警报抑制程度的情况下的例子。

在图44中，警报抑制调整部206在从判定为有背景物向路面的映入的时刻Tr1到时刻Tr2的期间以及从时刻Tr3到时刻Tr4的期间，与图41～图43的情况同样，通过将用于识别其他车辆的阈值从Th0变更为Th1来抑制警报输出。而且，在时刻Tr4之后，也通过直到其他车辆的相对速度在预定范围内的时刻Tv2为止延长将阈值设定为Th1的期间，执行警报输出的抑制程度的调整。此外，在图44(c)中虚线所示的部分表示在不执行警报输出的抑制程度的调整的情况下将阈值从Th1降低到Th0的定时。

通过如上那样调整警报输出的抑制程度，将用于识别其他车辆的阈值从Th1降低到Th0的定时从时刻Tr4被变更为时刻Tv2。其结果，其他车辆的识别结束的定时与图43的情况同样地，从图像信息值50低于不抑制警报输出的情况下的阈值Th0的时刻To4，被变更为图像信息值50低于抑制了警报输出的情况下的阈值Th1的时刻To4a。由此，如图44(d)所示，警报输出的期间被缩短为从时刻To3到时刻To4的期间。此外，图44(d)中虚线所示的部分是不执行警报输出的抑制程度的调整的情况下的警报输出的定时，表示除上述期间以外，在从时刻To4a到时刻To4的期间也进行警报输出。

如上所述，在从结束了有背景物向路面的映入的判定的时刻Tr4到其他车辆的相对速度在预定范围内的时刻Tv2的期间中延长进行警报抑制，由此调整警报输出的抑制程度。其结果，可以抑制从时刻To4a到时刻To4的期间中的警报输出。

图45表示在图40的步骤S161中组合使用所述(A)～(C)中的方法(A)和方法(C)来调整警报抑制的程度的情况下的例子。此外，该图45的例子中，在方法(A)中调整了作为立体物的检测条件的阈值、即所述的第1阈值α或阈值θ。

在图45中，警报抑制调整部206在从判定为有背景物向路面的映入的时刻Tr1到时刻Tr2的期间以及从时刻Tr3到时刻Tr4的期间，如图45(c)所示，通过将用于识别其他车辆的阈值从Th0变更为Th1来抑制警报输出。另外，在从时刻Tr3到时刻Tr4的期间，其他车辆的相对速度在预定范围内，因此，通过提高阈值Th1来执行警报输出的抑制程度的调整。而且，在时刻Tr4之后，延长将阈值设为Th1的期间直到其他车辆的相对速度在预定范围内的时刻Tv2为止，由此执行警报输出的抑制程度的调整。此外，在(c)中虚线表示的部分表示在从时刻Tr3到时刻Tr4的期间不执行警报输出的抑制程度的调整的情况下的阈值Th1、和在时刻Tr4之后不执行警报输出的抑制程度的调整的情况下将阈值从Th1下降到Th0的定时。

通过如上所述那样调整警报输出的抑制程度，在应用执行部204的其他车辆识别部204b中难以识别其他车辆。其结果，例如图45(c)所示，在从时刻Tr3到时刻Tv2的期间内，图像信息值50不超过调整后的阈值Th1，不识别其他车辆。由此，如图45(d)所示，在全部期间中不输出警报。即，可以抑制全部期间中的警报输出。此外，在图45(d)中虚线所示的部分是不执行警报输出的抑制程度的调整的情况下的警报输出的定时，表示在从时刻To3到时刻To4的期间进行警报输出。

此外，在以上说明的图45中，说明了组合使用方法(A)和方法(C)来调整了警报抑制程度的情况的例子，但是也可以进行除此以外的组合。例如，也可以将(A)～(C)的全部方法组合使用。另外，可以根据误警报的发生状况等判断是单独使用(A)～(C)的某个方法，还是组合使用。

根据以上说明的本发明的第二实施方式，起到以下的作用效果。

(1)车载用周围环境识别装置100根据通过摄像机1取得的摄像图像，通过应用执行部204识别在车辆的周围行驶的其他车辆，检测其他车辆相对于车辆的相对速度(步骤S130)。另外，通过映入判定部203根据摄像图像判定有无背景物向路面的映入(步骤S180)。并且，在步骤S180中判定为有映入时，采用阈值Th1(步骤S210)抑制警报输出部3的警报的输出。此时，基于在步骤S130中检测出的其他车辆的相对速度，通过警报抑制调整部206调整警报信号的输出的抑制程度(步骤S161)，根据该调整后的抑制程度抑制警报信号的输出。因此，与第一实施方式同样地，能够防止由于将背景物向路面的映入误检测为车辆而在错误的定时输出警报。

(2)警报抑制调整部206在步骤S161中可以使用所述的(A)～(C)那样的方法来调整警报信号的输出的抑制程度。在(B)的方法中，与第一实施方式同样地，通过使用于映入判定部203判定有无背景物向路面的映入的条件根据其他车辆的相对速度而变化，能够调整警报信号的输出的抑制程度。即，通过改变在步骤S180中比较各区域的特征量并根据其相关性判定有无背景物向路面的映入时的相关性的阈值、在步骤S170中计算各区域的特征量时的边缘检测条件，进行警报抑制程度的调整。因此，可以容易并且可靠地进行警报抑制程度的调整。而且，可以放宽在步骤S180中用于判定有无背景物的映入的条件，使得容易进行警报抑制。

(3)警报抑制调整部206在(A)的方法中，通过使用于应用执行部204识别其他车辆的条件根据其他车辆的相对速度而变化，可以调整警报信号的输出的抑制程度。即，车载用周围环境识别装置100，通过应用执行部204来判定基于在摄像图像中设定的检测区域内的图像的图像信息值50是否在预定的阈值Th0或Th1以上，由此识别其他车辆。在步骤S161中，使该阈值根据其他车辆的相对速度而变化，更具体来说，在其他车辆的相对速度在预定范围内的情况下，通过进一步提高其他车辆识别中的阈值Th1来进行警报抑制程度的调整。因此，能够容易并且可靠地进行警报抑制程度的调整。而且，可以严格设定在步骤S130中用于识别其他车辆的条件来使得容易进行警报抑制。

(4)警报抑制调整部206通过在(A)的方法中还根据其他车辆的相对速度改变用于应用执行部204识别其他车辆的其他条件，也可以调整警报信号的输出的抑制程度。即，车载用周围环境识别装置100，通过应用执行部204，在基于在摄像图像中设定的检测区域内的图像的图像信息值满足预定的取得条件时，将该图像信息值作为检测对象进行检测，根据检测出的图像信息值来识别其他车辆。在步骤S161中，使该检测条件根据其他车辆的相对速度而变化，更具体来说，在其他车辆的相对速度在预定范围内的情况下，通过将图像信息值的检测条件设定得严格，进行警报抑制程度的调整。因此，与上述同样地，可以容易并且可靠地进行警报抑制程度的调整。而且，可以严格设定在步骤S130中用于识别其他车辆的条件而容易进行警报抑制。

(5)警报抑制调整部206在(C)的方法中，当映入判定部203判定为有背景物向路面的映入，此后判定为没有背景物向路面的映入时，通过根据其他车辆的相对速度延长进行警报信号的输出的抑制，可以调整警报信号的输出的抑制程度。更具体来说，通过在其他车辆的相对速度在预定范围内的情况持续的期间或以预定时间延长警报信号的输出的抑制，进行警报抑制程度的调整。因此，与上述同样地，可以容易并且可靠地进行警报抑制程度的调整。而且，可以严格设定在步骤S130中用于识别其他车辆的条件而容易进行警报抑制。

此外，在以上说明的各实施方式中，以其他车辆的相对速度在预定范围内为条件来进行警报抑制程度的调整，但是也可以针对其他车辆的相对速度使用其他条件。例如，也可以确认其他车辆的相对速度的变动(稳定性)，以其在预定范围内为条件来进行警报抑制程度的调整。或者，也可以组合使用这些条件。

另外，在以上说明的各实施方式中，摄像机1对车辆后方的路面进行拍摄，但是也可以对车辆前方的路面进行拍摄。只要能够拍摄车辆周围的路面，怎样设定摄像机1的摄像范围都没关系。

以上说明的各实施方式或各种变形例只不过是一例，只要不破坏发明的特征，本发明不限于这些内容。

如下优先权基础申请的公开内容作为引用文献被并入本申请。

日本专利申请2012年第167603号(2012年7月27日申请)

符号说明

1   摄像机；

2   控制部；

3   警报输出部；

4   动作状态报知部；

100 车载用周围环境识别装置；

201 区域设定部；

202 特征量计算部；

203 映入判定部；

204 应用执行部；

205 警报控制部；

206 警报抑制调整部。

权利要求书(按照条约第19条的修改)

1.(删除)

2.(修改后)一种车载用周围环境识别装置，其特征在于，

具备：

摄像部，其对车辆周围的路面进行拍摄来取得摄像图像；

应用执行部，其根据通过所述摄像部取得的摄像图像，识别在所述车辆的周围行驶的其他车辆，检测所述其他车辆相对于所述车辆的相对速度；

映入判定部，其根据所述摄像图像判定有无背景物向所述路面的映入；

警报控制部，其根据所述应用执行部的所述其他车辆的识别结果，控制警报信号的输出；以及

警报抑制调整部，其在通过所述映入判定部判定出有背景物向路面的映入的情况下，根据所述其他车辆的相对速度，抑制所述警报信号的输出，

所述警报抑制调整部，使用于所述映入判定部判定有无背景物向所述路面的映入的条件根据所述其他车辆的相对速度而变化，由此调整所述警报信号的输出的抑制程度。

3.根据权利要求2所述的车载用周围环境识别装置，其特征在于，

具备区域设定部，其在所述摄像图像中设定背景区域以及映入区域，

所述映入判定部，将所述摄像图像中所述背景区域内的图像与所述摄像图像中所述映入区域内的图像进行比较，判定其相关性是否在预定的阈值以上，由此判定有无背景物向所述路面的映入，

所述警报抑制调整部，使所述阈值根据所述其他车辆的相对速度而变化，由此调整所述警报信号的输出的抑制程度。

4.根据权利要求2所述的车载用周围环境识别装置，其特征在于，

具备：

区域设定部，其在所述摄像图像中设定背景区域以及映入区域；以及

特征量计算部，其在所述摄像图像中所述背景区域内的图像和所述摄像图像中所述映入区域内的图像中分别检测满足预定的检测条件的边缘，针对所述背景区域和所述映入区域分别计算与检测出的边缘对应的特征量，

所述映入判定部，将所述背景区域的特征量与所述映入区域的特征量进行比较，由此判定有无背景物向所述路面的映入，

所述警报抑制调整部，使所述检测条件根据所述其他车辆的相对速度而变化，由此调整所述警报信号的输出的抑制程度。

5.(修改后)一种车载用周围环境识别装置，其特征在于，

具备：

摄像部，其对车辆周围的路面进行拍摄来取得摄像图像；

应用执行部，其根据通过所述摄像部取得的摄像图像，识别在所述车辆的周围行驶的其他车辆，检测所述其他车辆相对于所述车辆的相对速度；

映入判定部，其根据所述摄像图像判定有无背景物向所述路面的映入；

警报控制部，其根据所述应用执行部的所述其他车辆的识别结果，控制警报信号的输出；以及

警报抑制调整部，其在通过所述映入判定部判定出有背景物向路面的映入的情况下，根据所述其他车辆的相对速度，抑制所述警报信号的输出，

所述警报抑制调整部，使用于所述应用执行部识别所述其他车辆的条件根据所述其他车辆的相对速度而变化，由此调整所述警报信号的输出的抑制程度。

6.根据权利要求5所述的车载用周围环境识别装置，其特征在于，

所述应用执行部判定基于在所述摄像图像中设定的检测区域内的图像的图像信息值是否在预定的阈值以上，由此识别所述其他车辆，

所述警报抑制调整部，使所述阈值根据所述其他车辆的相对速度而变化，由此调整所述警报信号的输出的抑制程度。

7.根据权利要求5所述的车载用周围环境识别装置，其特征在于，

所述应用执行部，在基于在所述摄像图像中设定的检测区域内的图像的图像信息值满足预定的检测条件的情况下，将该图像信息值作为检测对象来检测，根据检测出的图像信息值识别所述其他车辆，

所述警报抑制调整部，使所述检测条件根据所述其他车辆的相对速度而变化，由此调整所述警报信号的输出的抑制程度。

8.(修改后)根据权利要求2或5所述的车载用周围环境识别装置，其特征在于，

所述警报抑制调整部，当所述映入判定部判定为有背景物向所述路面的映入，并且此后判定为无背景物向所述路面的映入时，根据所述其他车辆的相对速度，延长进行所述警报信号的输出的抑制，由此调整所述警报信号的输出的抑制程度。

9.(修改后)根据权利要求2至8中任一项所述的车载用周围环境识别装置，其特征在于，

所述警报抑制调整部，在所述其他车辆的相对速度满足和不满足预定的速度条件的情况下，使所述警报信号的输出的抑制程度变化。

10.根据权利要求9所述的车载用周围环境识别装置，其特征在于，

所述速度条件包含所述其他车辆的相对速度在预定范围内、以及所述其他车辆的相对速度的变动在预定范围内的至少任意一方。

11.一种车载用周围环境识别装置，其特征在于，

具备：

摄像部，其对车辆周围的路面进行拍摄来取得摄像图像；

应用执行部，其根据通过所述摄像部取得的摄像图像，识别在所述车辆的周围行驶的其他车辆；以及

映入判定部，其区别所述摄像图像的背景区域和映入区域，根据这些区域的图像特征的相关性，判定有无背景物向所述路面的映入，

在通过所述映入判定部判定为有背景物向所述路面的映入的情况下，抑制通过所述应用执行部进行的其他车辆的识别。

Claims (11)

1.一种车载用周围环境识别装置，其特征在于，

具备：

摄像部，其对车辆周围的路面进行拍摄来取得摄像图像；

应用执行部，其根据通过所述摄像部取得的摄像图像，识别在所述车辆的周围行驶的其他车辆，检测所述其他车辆相对于所述车辆的相对速度；

映入判定部，其根据所述摄像图像判定有无背景物向所述路面的映入；

警报控制部，其根据所述应用执行部的所述其他车辆的识别结果，控制警报信号的输出；以及

警报抑制调整部，其在通过所述映入判定部判定出有背景物向所述路面的映入的情况下，根据所述其他车辆的相对速度，抑制所述警报信号的输出。

2.根据权利要求1所述的车载用周围环境识别装置，其特征在于，

所述警报抑制调整部，使用于所述映入判定部判定有无背景物向所述路面的映入的条件根据所述其他车辆的相对速度而变化，由此调整所述警报信号的输出的抑制程度。

3.根据权利要求2所述的车载用周围环境识别装置，其特征在于，

具备区域设定部，其在所述摄像图像中设定背景区域以及映入区域，

所述映入判定部，将所述摄像图像中所述背景区域内的图像与所述摄像图像中所述映入区域内的图像进行比较，判定其相关性是否在预定的阈值以上，由此判定有无背景物向所述路面的映入，

所述警报抑制调整部，使所述阈值根据所述其他车辆的相对速度而变化，由此调整所述警报信号的输出的抑制程度。

4.根据权利要求2所述的车载用周围环境识别装置，其特征在于，

具备：

区域设定部，其在所述摄像图像中设定背景区域以及映入区域；以及

特征量计算部，其在所述摄像图像中所述背景区域内的图像和所述摄像图像中所述映入区域内的图像中分别检测满足预定的检测条件的边缘，针对所述背景区域和所述映入区域分别计算与检测出的边缘对应的特征量，

所述映入判定部，将所述背景区域的特征量与所述映入区域的特征量进行比较，由此判定有无背景物向所述路面的映入，

所述警报抑制调整部，使所述检测条件根据所述其他车辆的相对速度而变化，由此调整所述警报信号的输出的抑制程度。

5.根据权利要求1所述的车载用周围环境识别装置，其特征在于，

所述警报抑制调整部，使用于所述应用执行部识别所述其他车辆的条件根据所述其他车辆的相对速度而变化，由此调整所述警报信号的输出的抑制程度。

6.根据权利要求5所述的车载用周围环境识别装置，其特征在于，

所述应用执行部判定基于在所述摄像图像中设定的检测区域内的图像的图像信息值是否在预定的阈值以上，由此识别所述其他车辆，

所述警报抑制调整部，使所述阈值根据所述其他车辆的相对速度而变化，由此调整所述警报信号的输出的抑制程度。

7.根据权利要求5所述的车载用周围环境识别装置，其特征在于，

所述应用执行部，在基于在所述摄像图像中设定的检测区域内的图像的图像信息值满足预定的检测条件的情况下，将该图像信息值作为检测对象来检测，根据检测出的图像信息值识别所述其他车辆，

所述警报抑制调整部，使所述检测条件根据所述其他车辆的相对速度而变化，由此调整所述警报信号的输出的抑制程度。

8.根据权利要求1所述的车载用周围环境识别装置，其特征在于，

所述警报抑制调整部，当所述映入判定部判定为有背景物向所述路面的映入，并且此后判定为无背景物向所述路面的映入时，根据所述其他车辆的相对速度，延长进行所述警报信号的输出的抑制，由此调整所述警报信号的输出的抑制程度。

9.根据权利要求1至8中任一项所述的车载用周围环境识别装置，其特征在于，

所述警报抑制调整部，在所述其他车辆的相对速度满足和不满足预定的速度条件的情况下，使所述警报信号的输出的抑制程度变化。

10.根据权利要求9所述的车载用周围环境识别装置，其特征在于，

所述速度条件包含所述其他车辆的相对速度在预定范围内、以及所述其他车辆的相对速度的变动在预定范围内的至少任意一方。

11.一种车载用周围环境识别装置，其特征在于，

具备：

摄像部，其对车辆周围的路面进行拍摄来取得摄像图像；

应用执行部，其根据通过所述摄像部取得的摄像图像，识别在所述车辆的周围行驶的其他车辆；以及

映入判定部，其区别所述摄像图像的背景区域和映入区域，根据这些区域的图像特征的相关性，判定有无背景物向所述路面的映入，

在通过所述映入判定部判定为有背景物向所述路面的映入的情况下，抑制通过所述应用执行部进行的其他车辆的识别。