CN102902952A - 车载用环境识别装置 - Google Patents

Abstract

本发明提供一种车载用环境识别装置。车载用环境识别装置(100)具备：光源提取部(300)，其从图像中提取光源；灯信息部(400)，其基于源在图像上的位置，提取光源在环境识别时成为误检测原因的灯，并估计包括灯的灯强度、3维位置和配光图案的信息在内的灯信息；路面反射估计部(500)，其基于灯信息，估计灯被路面反射的图像上的路面反射估计图像区域；车载用环境识别部(600)，其基于路面反射估计图像区域，识别本车辆的周围环境。因此，可获得能够以更少的处理负荷防止因周围车辆的前灯光引起的误识别的车载用环境识别装置。

Description

车载用环境识别装置

技术领域

本发明涉及基于由车载照相机拍摄到的图像识别本车辆的周围环境的车载用环境识别装置。

背景技术

近几年，正在开发识别汽车等车辆的周围环境的照相机。在利用了照相机的识别技术中，能见度不好的夜间识别容易成为问题。特别是，若是后部照相机等，则不能通过本车辆的前灯对要拍摄的路面进行照明，因此得到的影像较暗，能见度低，要求对这种较暗的影像进行图像处理。此外，在后面存在车辆的情况下，尽管周围较暗，但是由于后续车辆的前灯非常明亮，因此在通过后部照相机拍摄的影像中，还会产生其前灯部分明亮且出现白斑的状态，容易妨碍正常的识别。

专利文献1公开了如下的技术，即，利用从视点不同的2个照相机看到的镜面反射成分的强度的差异，判定路面上是否存在镜面反射光，在存在镜面反射光的情况下，进行除去该镜面反射光的处理。专利文献2公开了如下的技术，即，通过检测作为实像的车辆灯、和作为虚像的路面反射的组合，从而生成抑制了作为虚像的路面反射的修正图像。

【在先技术文献】

【专利文献】

【专利文献1】JP特开平11-203446号公报

【专利文献2】JP特开2009-65360号公报

在识别车辆周围的环境的车载照相机中，不仅仅是在路面上产生的高亮度的镜面反射区域，即便是亮度低的区域，但与周围相比亮度较高的区域对于图像识别应用而言也会成为误检测原因。特别是，在后部照相机中，由于没有本车辆前灯，因此在夜间需要从低对比度的影像检测行车线或车辆等，所以虽然是低亮度但亮度比周围的路面高的反射区域也会成为误检测原因。

若只将高亮度的反射区域作为对象，则存在从公知例这样的图像上提取的方法，但是低亮度的反射区域是很难从图像上搜索的。

在专利文献1中，通过利用立体照相机，从视点不同的2个图像中提取了高亮度的镜面反射成分，但是在单眼照相机中，很难确保同一时刻的视点不同的2张图像。在专利文献2中，进行利用了实像和虚像的组合的高亮度的镜面反射的识别，但是在兼备放映和识别的照相机中，毕竟很难将前灯和路面反射看成一体，而且图像识别应用的难以抑制的误检测原因在低亮度的反射中比高亮度的反射区域还要大，直接应用专利文献2的逻辑也难以解决抑制误检测的课题。并且，在专利文献1、2中，由于通过图像处理来进行镜面反射的识别处理，因此处理负荷比较大，与将图像处理限定在提取简单的高亮度区域而剩余部分就通过估计计算来估计路面反射区域的本实施例相比，存在处理负荷高的问题。

发明内容

本发明鉴于上述情况而完成，其目的在于，提供一种能够以更少的处理负荷防止因周围车辆的前灯光引起的误识别的车载用环境识别装置。

解决上述课题的本发明的车载用环境识别装置的特征在于，基于光源在图像上的位置，估计环境识别时成为误检测原因的灯在路面进行反射的图像上的路面反射估计图像区域，并基于该路面反射估计图像区域，来识别本车辆的周围环境。

(发明效果)

根据本发明，能够从用于识别本车辆的周围环境的处理区域中，除去成为误检测原因的灯的路面反射估计图像区域，能够正确地识别本车辆的周围环境。

附图说明

图1是车载用环境识别装置的结构图。

图2是光源提取部的内部结构图。

图3是灯信息部的内部结构图。

图4是路面反射估计部的内部结构图。

图5是车载用环境识别部的内部结构图。

图6是带有路面反射对策的车道识别部的内部结构图。

图7是带有路面反射对策的行驶路径识别部的内部结构图。

图8是带有路面反射对策的路面标识识别部的内部结构图。

图9是说明灯3维位置的估计方法的图。

图10是表示随着照度而不同的配光图案的图。

图11是说明漫反射和镜面反射的图。

图12是说明漫反射区域估计法的图。

图13是说明镜面反射区域估计法的图。

图14是按昼夜区分的反射对策的切换结构图。

图15是夕阳对策的路面反射信息部的结构图。

图16是夕阳对策的路面反射估计部的结构图。

图17是说明夕阳路面反射区域估计法的图。

图18是车辆检测部的内部结构图。

符号说明：

100…车载用环境识别部、200…图像获取部、300…光源提取部、400…灯信息部、410…灯判定部、420…灯强度估计部、430…灯3维位置设定部、440…配光图案设定部、500…路面反射估计部、510…路面反射系数决定部、511…天气判定部、512…路面状况判定部、520…漫反射位置估计部、530…镜面反射位置估计部、540…路面反射图像区域估计部、541…时钟部、600…车载用环境识别部、610…车道识别部、620…路边识别部、630…行驶路径识别部、640…路面标识识别部、650…路面状况识别部、4000…夕阳对策路面反射信息部、4100…路面反射判定部、4200…反射强度估计部、4300…反射3维位置设定部、4400…太阳方位设定部、4410…本车辆动作、5000…夕阳对策路面反射估计部、5100…路面反射系数决定部、5200…漫反射位置估计部、5300…镜面反射位置估计部、5400…路面反射图像区域估计部。

具体实施方式

以下，参照附图说明本实施方式。

[实施例1]

本实施例的车载用环境识别装置是汽车的车载照相机，例如，与停车支援用的后部照相机或向驾驶者显示由旁路照相机拍摄到的车辆的周围图像的车载照相机内一体构成。

图1是本实施例中的车载用环境识别装置的结构图。

如图1所示，车载用环境识别装置100作为车载照相机的ECU的内部功能，具有图像获取部200、光源提取部300、灯信息部400、路面反射估计部500、车载环境识别部600。

图像获取部200获取由单眼照相机拍摄到的本车辆周边的图像，光源提取部300从图像获取部200获取到的图像中提取光源。灯信息部400判定由光源提取部300提取的光源是否对应于在进行环境识别时成为误检测原因的灯，并预测该灯的3维位置，估计照射范围、配光图案等。

路面反射估计部500根据由灯信息部400预测的灯的3维位置、照射范围、配光图案等，估计在路面上生成的镜面反射或漫反射等，由此估计在画面上生成的路面反射估计图像区域。车载用环境识别部600基于这些路面反射信息，识别白线识别等本车辆的周围环境。

图2是图1的光源提取部的内部结构图。

光源提取部300从图像中将具有预先设定的阈值以上的面积的点光源作为光源来提取，如图2所示，具备：用于从拍摄图像中提取预先设定的亮度值以上的光点的2值化部310；对2值化的结果进行标记(labeling)并删除认为是标记结果的面积小的噪声要因的标记结果的标记部320；提取该标记结果的外切矩形的外切矩形提取部330；计算标记结果的面积的面积提取部340；和提取标记结果的重心的重心提取部350。

图3是图1的灯信息部的内部结构图。

灯信息部400基于由光源提取部300提取的光源在图像上的位置，提取光源在环境识别时成为误检测原因的灯，估计包括该灯的灯强度、3维位置和配光图案的信息在内的灯信息。

如图3所示，灯信息部400具备：灯判定部410，判定由光源提取部300提取出的光源对于车载用环境识别装置100而言是否是可能成为误检测原因的灯；灯强度估计部420，根据由光源提取部300提取出的光源的面积等，估计灯的强度；灯3维位置估计部430，估计由光源提取部300提取出的光源的3维位置；和配光图案设定部440，设定被判定为灯的光源的照射范围等配光图案。另外，在灯判定部410中，也可以利用雷达部411或昼夜判定部312的结果来进行判定。

图4是图1的路面反射估计部的结构图。

如图4所示，路面反射估计部500具备：路面反射系数决定部510，决定路面的反射系数；漫反射位置估计部520，估计从灯信息部400提取出的光源在路面上生成的漫反射的位置；镜面反射位置估计部530，同样地估计从灯信息部提取出的光源在路面上生成的镜面反射的位置；和路面反射图像区域估计部540，从根据这些漫反射位置估计部520和镜面反射位置估计部530估计出的3维路面反射位置中，估计成为误检测原因的图像上的路面反射估计图像区域。

路面反射系数决定部510基于判定雨天、阴天、晴天等天气的天气判定部511的结果，决定路面反射系数。在雨天等路面较湿的状况下，因为处于前灯在路面上容易引起镜面反射的状况，所以因镜面反射而出现白斑的区域变得比通常状态大。因此，有可能成为误检测原因的估计镜面反射区域变大，相反，若是晴天且干燥的路面，则镜面反射较少，更容易产生漫反射。由此，基于路面状态决定镜面反射与漫反射的路面反射系数，从而估计作为车道(lane)识别处理区域对象外的反射区域。

此外，路面反射系数决定部510也可以基于直接判定路面是湿润、干燥、积雪等路面状况的路面状况判定部512的结果，而不是基于天气，来决定路面反射系数，由此变更光源对图像区域带来的影响范围的大小。

并且，路面反射系数决定部510也可以根据基于车载导航513的地图信息的道路环境信息、行驶方位等来决定路面反射系数，在路面反射图像区域估计部540中，根据车载导航513的太阳的位置关系、行驶方向等来变更有可能光源在图像上如白斑那样作为误检测原因而带来影响的范围的大小。

并且，路面反射系数决定部510也可以根据雨刷514的动作状况来判定天气状态，从而决定路面反射系数。而且，路面反射图像区域估计部540也可以根据时钟部541的时间来预测太阳的位置，由此判定昼夜，从而调整路面反射对图像区域带来的影响范围的大小。

图5是图1的车载用环境识别部600的内部结构图。

如图5所示，车载用环境识别部600基于由路面反射估计部500估计出的图像上的路面反射估计图像区域，按照各识别应用进行误检测的方式实施对策。各识别应用具备：车道识别部610，识别被用于行车线脱离警报或行车线脱离抑制的道路标志；路边识别部620，识别被用于车辆的行驶区域脱离警报或抑制的路边；行驶路径识别部630，即使是如工地现场那样无白线的环境下，也判定车辆是否能够行驶；路面标识识别部640，识别在路面上画出的车速等路面标识；路面状况识别部650，判定路面的状况是干燥还是湿润，还是有积雪等；和车辆检测部660，检测被用于行车线变更支援等的车辆。另外，车载用环境识别部600并不限于具备上述的各识别应用(识别部610～650)的全部的结构，既可以只包括其中的至少任意一个，也可以包括其他识别部。

接着，详细说明各部的结构。

<关于光源提取部300>

光源提取部300例如目的并不是为了前灯的控制而检测其他车辆的灯，其目的在于检测对于环境识别而言有可能成为误检测原因的光源。因此，由于小的点光源或亮度低的点光源等产生路面反射等的可能性较低，因此从光源提取部300的提取对象中排除。由此，能够得到减轻处理负荷且避免多余的误检测对策的效果。

此外，即使产生了路面反射，也可以将成为车载用环境识别部600中的识别应用的处理区域外这样的2行车线相邻的车辆的前灯等先当作发现光源的图像处理区域的对象外。此外，存在于比图像上的消失点更靠上的光源被识别为位于比照相机更高的位置的光源，因此看作是路灯或信号灯的光，也可以从处理对象中排除。

此外，也可以根据天气变更处理区域。例如，在雨天或雨后湿润的道路上容易产生路面上的镜面反射而在通常的干燥的道路上不易产生的路灯或信号灯的光的镜面反射容易妨碍(误检测原因)本车辆的周围环境的识别。因此，提取与天气或道路状况相应的处理区域内的光源。

图2的结构图所示的方法只是一例，不需要一定具备内部的全部处理，只要是能够确定光源在图像上的位置的方法即可。此外，本实施例中的车载用环境识别装置100主要防止在夜间误检测后续车辆的灯，因此，在周围环境明亮的情况下，例如在白天、或被照明的室内停车场、或隧道等中，不一定要使这些光源提取部300的光源提取处理、灯信息部400的灯判定处理、路面反射估计部500的路面反射估计处理等进行动作。

因此，也可以利用通过导航的协作完成的来自GPS位置的时钟(时刻)、隧道等的地图信息等，来停止光源提取部300、灯信息部400、路面反射估计500的动作。作为用于切换动作的起动、停止的信息，可以利用前灯的开与关、或用于自动控制前灯的开与关的照度传感器等的信号。

此外，通过昼夜判定部312，利用照相机的快门速度、增益、或拍摄结果来实施昼夜的判定，并基于该判定结果，停止光源提取部300、灯信息部400、路面反射估计500的动作。除此之外，也可以利用路车间通信、车车间通信等信息。此外，也可以利用光源提取部300的结果，判定灯信息部400和路面反射估计部500的处理的暂时停止。或者，也可以利用光源提取部300和灯信息部400的结果来实施昼夜的判定，由此停止路面反射估计部500的动作。此外，不一定要实施昼夜的判定，也可以基于周围的光源环境，停止路面反射估计部500或者光源提取部300和灯信息部400的动作。

<关于灯信息部400>

灯判定部410对从图像上提取出的光源实施判定是否是被估计为产生路面反射的灯的处理。在现有的公知例等中，由于实施识别路面反射自身的处理，因此不仅处理负荷高，而且由一个照相机检测光源和路面反射一体化的后续车辆的灯是很难的。此外，即使求出了路面反射的高亮度的镜面反射区域，也很难识别在高亮度区域(镜面反射区域)的周围较广的低亮度的反射区域或漫反射区域在什么方向上以什么程度延伸。

在本方法中，应用用于CG阴影附加的Phong反射模型，来估计路面反射区域，从而估计低亮度的反射区域，并将其设定在图像识别的处理区域对象外，从而成功抑制了误检测。在本实施例中，应用Phong反射模型，基于下述的模型来估计反射区域。

Phong反射模型由“镜面反射”、“漫反射”、“环境反射”这3种反射成分来定义物体表面的反射，根据这些3种反射成分，利用于物体的阴影附加。根据该Phong反射模型的3种反射成分，从夜间前灯引起的反射之中筛选对于车载用环境识别部而言成为误检测原因的反射成分。分析由车载照相机获取的影像可知，环境反射是指来自其他物体的2次反射等引起的光的反射，由于对物体附加均匀的色调，因此不会成为车载环境识别部的误检测原因。其次是漫反射光，但在具有方向性的前灯照射路面的情况下，前灯面向的路面的亮度高，且越是远方或者离灯的方向性的朝向较远则亮度降低，与周边的路面产生亮度差，因此可知漫反射光是误检测原因之一。最后是镜面反射光，对于该反射光而言，在从前灯的光源连接本车辆照相机的直线上的路面上镜面反射的光生成的反射区域，与周围的路面相比较亮，因此可知该反射光也会成为误检测原因。

因此，作为由夜间前灯引起的误检测的对策，利用与周围的路面亮度相比具有提高亮度的效果的“镜面反射”、“漫反射”这两者，估计对于图像识别而言容易成为误检测的原因的反射区域。在现有的公知例中，原本只考虑了镜面反射，或者即使仅判定高亮度的区域是容易从图像处理中提取的，但仅通过图像处理搜索虽然是低亮度但是亮度比周围高的反射区域并不是容易的。本实施例通过图像处理实施可比较简单地实施的高亮度区域的提取，并从提取出的光源中仅估计会成为图像识别的误检测原因的反射区域，从而大幅抑制要进行图像搜索的量，并且对反射区域进行估计计算，从而大幅削减处理负荷的同时，成功确定了在现有方法中比较难的、虽然是低亮度但与周围环境相比会因反射而导致亮度变高的区域。

并且，将提取出的光源限定为行驶在与本车辆相同的道路上的车辆的前灯，从而还可以将在公知例等中未涉及的漫反射所产生的反射区域也估计为对于图像识别而言成为误检测原因的反射区域。由此，成功实现了在现有方法比较难的因漫反射产生的反射区域的估计、以及虽然是低亮度但与周围环境相比亮度较高的镜面/漫反射区域的估计。由此，能够更可靠地对应各图像识别应用，为各图像识别应用的自适应范围扩大做贡献。

为了求出因前灯产生的有可能成为误检测原因的区域，从phong反射模型的反射成分中利用漫反射成分和镜面反射成分，在路面上的区域中计算出关注点的亮度I。关注点亮度I可以表现为漫反射成分

Kd(L·N)i_d

与镜面反射成分

Ks(R·V)αⁱ _s

之和。

基于图11(a)考虑的话，漫反射成分可由表示在路面上哪些光没有被吸收而是被反射的相对于入射光的漫反射率Kd、根据提取出的光源的位置得到的光线方向向量L、假设物体全部为水平的路面时垂直向上的法线向量N、和来自成为误检测原因的光源的扩散光源的光强度id来表示。漫反射率原本根据入射光的波长、即颜色的不同而不同，但是本次，由于路面的颜色或灯都不是彩度高的颜色，因此假设不存在因入射光的波长的变化。

如图11(c)所示，将实际的镜面反射光的聚光情况也设为α的系数，增大α时，意味着接近如接近图11(b)的状态的镜子的反射。假设反射光的强度依赖于表示路面以什么程度进行镜面反射的镜面反射系数Ks、成为误检测原因的前灯的镜面反射光的强度is、照相机方向向量V和光源方向向量R而产生变化，由此估计镜面反射成分。

根据这些漫反射成分和镜面反射成分估计路面亮度，并估计有可能成为反射误检测原因的区域。

I：关注点亮度

Kd：扩散反射系数

L：向光源的方向向量

N：物体法线向量

i_d：扩散光强度

Ks：镜面反射系数

R：光线完全被反射的方向向量

V：朝向照相机的方向向量

α：镜面反射的聚光度

i_s：镜面光强度

I＝Kd(L·N)i_d+Ks(R·V)^αi_s

由此，提取成为反射要因的光源，在不识别反射区域的情况下进行估计，从而还能够估计亮度低的反射区域，成功削减了误检测。

首先，Phong反射模型的一部、即漫反射成分和镜面反射成分中，上述的式子成立，但是不同于CG环境，并不是所有都是已知的，因此在车载照相机的图像识别的环境下，不能直接进行计算。以上述式子为基本概念，利用从图像获得的信息，说明如何应用于反射区域估计的计算中。

说明光源的3维位置。在3维的位置关系中，需要照相机位置、路面位置和光源位置各自的相对关系。首先，并不是针对全部光源计算反射区域，而是将其他车辆的灯作为对象，基于提取出的光源在图像上的位置，判定是否是可估计为产生路面反射的灯。作为估计为产生路面反射的灯，灯判定部410例如判定是否为其他车辆的前灯。

之前，也可以通过实施灯3维位置设定部430的计算，用于图像提取光源是否为可产生路面反射的灯的判定中。此外，也可以通过分析光源的形状、图案、颜色信息，从而判定是否为产生路面反射的灯。此外，也可以实施图像上的跟踪并分析其动作，从而判断是路面上的静止物还是其他车辆的前灯，由此判断是否实施用于误检测的路面反射对策。此外，也可以与雷达部411的车辆检测结果、或者立体物识别结果相比较，从而判定是否为其他车辆的前灯。此外，除了雷达部411外，还可以利用立体照相机的立体物识别结果、车车间通信的结果、或路车间通信的结果。

由此，本车辆照相机与光源的相对3维位置成为已知，且由于假设反射是水平的路面，因此，具备了用于针对图像上的某一路面1点计算反射光的强度的信息。

首先，在扩散光反射中，若向光源的方向向量对图像上的路面1点进行3维位置估计，则光源位置和路面1点的3维位置都也已知，能够根据该向量计算方向。此外，由于假设了路面是水平的，因此物体的法线向量全部都是垂直向上的。若考虑这些，已知路面上的漫反射系数和前灯的扩散光强度，则之后可计算图像上的路面每1点的亮度。

但是，在此考虑的是假设路面全部为水平，考虑来自光源的方向向量，之后与扩散光强度和漫反射系数的相乘结果成比例地决定其亮度。也就是说，如图10所示，若以车辆的前灯位置为基准预先计算了路面上的亮度表示什么样的等高线，则可知针对该结果，利用扩散光强度和漫反射系数的相乘结果从而等高线成比例地变化。也就是说，可知在实时计算中，只需要运算漫反射系数和扩散光强度，而其他计算在初始化时预先计算即可。

但是，若按上述说明那样计算漫反射光成分，则如图10所示，不会成为由实际的前灯表现出的配光图案。这是因为，将由phong反射模型定义的光基本上考虑成点光源，并直接应用于phong式时，估计出了点光源正下方的路面最亮、而随着渐渐远离此处就会变暗的圆状的等高线。因此，为了计算具有方向性的前灯产生的扩散光的路面反射成分，按照如下方式修正计算结果即可，即：从前灯照得最亮的方向的向量与向光源的向量的点积中，随着角度远离，使扩散光强度衰减。在本实施例中，最初就认为很难细微地识别每个车辆的前灯的不同，预先定义某一方向性的方向，以此为基准，致力于计算如图10所示的配光图案。

另外，在因路面状况而容易产生漫反射的情况下等，也可以扩展误检测原因的对象，使由灯信息部400处理的光源除了其他车辆的前灯之外，还包括路灯等其他光源。但是，也可以是还预先准备无方向性的光源时的配光图案等，从而选择路灯产生的漫反射的配光图案，并用于误检测抑制。

在灯判定部410中，从误检测原因的对象中排除了在路面上不产生反射的光源，因此相应地，能够省略后述的灯强度估计部420、灯3维位置设定部430、配光图案设定部440中的无用处理负荷、以及之后的车道识别等各应用中的无用处理负荷。

灯强度估计部420估计由灯判定部410判定为产生了路面反射的灯的灯强度(光强度)。在该灯中除了其他车辆的灯之外还包括路灯等其他光源的情况下，还估计该光源的光强度。灯强度估计部420基于在图像上出现白斑的区域的面积，估计灯强度。在本实施例中，根据图像上的白斑面积，估计扩散光强度和镜面光强度。

在可获得或者可分析实际的照相机快门速度或增益等设定信息的情况下，也可以通过利用该值来估计灯强度。但是，由于灯离地面的高度、道路的倾斜度等不明点特别多，因此后续车辆的正确的位置和姿势虽然也依赖于最终所需的反射区域的估计精度，但是与详细的分析相比，只要根据图像上的光源面积与反射大小的相关性来实施简单的计算也是充分实用的。不过，可以说这是因为最终的应用是车道识别、路边检测、行驶路径识别这样即使从处理区域中删除一部分也可以通过利用其他区域来识别的应用，所以才成立的。

对于步行者检测或车辆检测而言，作为处理区域对象外意味着不检测来到该区域的车辆，因此作为不能检测车辆的状况，成为系统放弃(systemgive up)。因此，若是用于防止或抑制碰撞的步行者检测或车辆检测，则并不是完全从处理区域对象排除，而是认为该区域是高亮度且产生反射的可能性高，虽然不会从识别处理的对象中排除，但是与其他区域相比变更参数、或者使其实施不同的识别处理来应付。

特别是在应用中，在行车线检测或路边识别中，容易将在画面上亮度高且处于线上的物体当作误检测对象。对于高亮度的区域，通过公知例等的基于图像处理的提取方法也容易判断是路面反射等，但是在从前灯延伸的反射中，若是虽然不是高亮度但是与路面相比亮度还是较高的反射，则即使利用现有公知技术也很难区分到哪里为止是反射而到哪里为止是路面。在本实施例中，获取后续车辆的前灯在要因中产生的反射的特征，利用简化之后的模型成功实现了路面反射区域的估计。

但是，即使在无法获得实际的照相机的设定信息的情况下，也可以根据出现白斑的面积的大小来估计路面反射对照相机带来的什么程度的影响。若是纵向非常长的白斑，则也可以判断为是在路面反射和灯两者相连的状态下出现了白斑。

在此，在图像上虽然亮度高但可看作是面积非常小的点光源的情况下，大多情况是远方车辆的前灯等，实际上该灯成为要因的路面反射会成为误检测原因的可能性非常低。

由此，实际上即使是车辆的前灯的光源，为了判定是否有可能成为因路面反射引起的各识别应用610～650的误检测原因，进行灯强度的估计，将小于某一强度的灯排出反射对策的对象外。此外，将认为以某一强度以上的灯引起路面反射的灯，该灯的路面反射作为是否带来很大且较广的影响的指标。

灯3维位置设定部430根据图像上的光点估计灯的3维位置。若是立体照相机，则还能够基于三角测量的原理估计3维位置，但若是单眼照相机，则只能估计图像上的位置信息，很难确定光源的3维位置。

因此，在本实施例中，追加3维的制约条件后估计灯的3维位置，并估计为各灯的3维位置。

图9是说明灯3维位置估计方法的图，图9(a)是通过作为单眼照相机的后部照相机拍摄并2值化之后的图像的示意图，图9(b)是表示照相机的高度位置与灯的假定高度位置之间的关系的图。另外，在图9(a)中，符号WL表示规定行车线的白线。

如图9(a)所示，根据图像91上的位于右上方的光点92、92的图像信息，能够确定在3维世界上的一根线上存在光点92、92。虽然不能确定其他车辆(未图示)的灯的高度，但是在本实施例中，将灯高度假设为距地面高0.6m的高度，估计灯92、92的本车辆至灯为止的车辆前后方向的距离、车宽方向的距离、灯距地面的高度。

如图9(b)所示，将连接照相机的镜头中心和图像上的光点的直线估计为距地面的高度为0.6m的平面，将交叉的一点96估计为灯3维位置。

在此，利用灯92的3维位置信息，不仅用于灯92是否为产生路面反射的灯的判定中，还估计从灯92的3维位置起在路面上的哪个3维位置产生路面反射。

在此估计出的灯的3维位置是基于已在路面上60cm这样的修改求出的3维信息，因此该3维位置信息中存在某种程度的误差。此外，若还能够正确地掌握路面的倾斜度或凹凸等，则进行所考虑的路面反射估计是正确的，但是，由于在已经将车辆的前灯的高度位置设为60cm这样的假定情况下进行了计算，因此即使是假定为路面无凹凸的计算，也能够充分成为有利用价值的反射区域的位置估计。

配光图案设定部440基于在灯3维位置设定部430中设定的灯的3维位置，设定灯的配光图案。也可以因不同国别而使左右不对称的配光图案反转。此外，若是估计为光源虽不是前灯但是会产生漫反射的点光源等，则选择不同于前灯的配光图案。配光图案基本上是为了估计漫反射引起的路面反射位置而设定的。

但是，还如图4中所示，在该时刻，已估计出灯强度，但是由于未估计路面反射强度，因此在此只表示是什么类型的配光图案，而作为数据的信息，如图10所示，在灯信息部400中选择世界坐标上的等高线上的绘图数据。

图10是表示随着照度而不同的配光图案的图，图10(a)是俯视图，图10(b)是侧视图。虽然各车辆的前灯的形状及车体的姿势都互不相同，但是很难按车种分开应对，因此在本实施例中，以所有车型相同的前灯形状、后续车辆与本车辆平行地前进的情况作为前提来计算反射。根据具有方向性的前灯的光轴向量和向光源的方向向量的点积表现方向性的光，而且根据光源方向向量与方向向量的点积计算了漫反射成分。

在图5定义的路面反射估计部500的路面反射系数决定部中，决定漫反射系数和镜面反射系数。在此，说明漫反射系数的估计。

对于漫反射系数，根据路面的种类或者天气来总结为漫反射系数的表格(【表1】)，并分别根据路面状况的变化或天气的状况来使其变更。路面越白漫反射系数就越大，而且路面越干漫反射系数就越大。沥青的较暗的路面、或下雨后路面的颜色看上去较暗时，漫反射系数变小。在路面湿润的情况下，虽然镜面反射系数大，但是漫反射系数变小。

【表1】

漫反射系数表格

	沥青	水泥
			干的路面	0.6	0.8
湿润的路面	0.5	0.7
			全部被雪覆盖的路面	0.6	0.6

由此，将漫反射系数大致表格化，根据路面状况或天气状况来变更参照对象。也可以根据导航仪的地图信息判断路面状况，或者与路面的沥青或水泥这样的种类无关地使路面状况恒定。对于天气条件而言，根据雨刷信息来判断雨天，从而变更漫反射系数。在如等高线那样描绘的区域是由漫反射系数与漫反射强度之积表现的情况下，表示有可能成为误检测原因的估计区域的大小。

基于路面反射系数和灯的强度，在图10(a)所示的配光图案之中，选择是利用哪个等高线上的反射区域。如图10(b)所示，配光图案自身预先进行3维反射的计算，因此在漫反射位置估计部520中，需要落入到实际的图像上的区域中。

配光图案表示车辆V的前灯照射道路的光的强度，以等高线的方式表示成为相同的光强度(照度)的位置，随着转移至等高线A1～A4，光强度变小。

在实时处理时，基于从图像上提取出的高亮度区域的面积，决定扩散光强度，并根据扩散光强度和漫反射率，将配光图案的大小选择为图10(a)的A1、A2、A3、A4。因此，在估计处理中，只需要进行光源提取处理、配光图案的选择、使配光图案落入图像上的2维坐标的计算，因此非常简单。对于使配光图案落入到图像坐标中而言，也不需要以很高的分辨率求出，只要假设了车道识别等，即使不怎么大的区域存在反射的可能性，不检测车道识别本身的可能性都比较低。这是因为，若是白线识别，则一定存在道路标志进入近距离的位置的瞬间。可以说即使从后续车辆的前灯延伸的反射光中多少存在遮掩，完全不识别的可能性非常低。因此，以粗采样落入到图像坐标，并设为车道识别等识别系统的应用的处理对象外，从而起到抑制误检测的作用。

在本实施例中，如图10所示，使用前灯照射的随着照度而不同的配光图案，根据灯的强度和路面状况，由路面反射估计部500估计哪个照度的区域是在图像上会成为误检测原因的路面反射估计图像区域。

<关于路面反射估计部500>

在路面反射估计部500中，为了表现Computer Graphics(CG)物体的阴影，经常利用由路面产生的灯的路面反射，并应用Phong反射模型进行估计。在Phong反射模型中，利用3个光的成分表现来自周围环境的光，用于置于其中的物体的阴影的透视图中。

该3个光成分是表现来自周围的扩散光且向物体赋予均匀的明亮度的环境光反射成分、通过入射的光散射而表面的亮度已不依赖于视点而恒定的漫反射成分、以及表示镜面等引起的完全的光的反射且入射角度和反射角度相等的镜面反射成分。

其中，在夜间的反射对策中，仅将产生与周围路面之间的亮度变化的要因、即漫反射成分和镜面反射成分作为对象来选择。图11是表示漫反射与镜面反射的入射光和反射光的关系的图，图11(a)说明漫反射，图11(b)、(c)说明镜面反射。

图11(b)所示的完全镜面反射只有在如被磨成镜子那样的平面上才成立。因此，在本实施例中，路面的镜面反射更接近如图11(c)所示的实际路面的镜面反射，将以下的反射模型用作镜面反射模型，该反射模型中，在入射角度和反射角度相等的角度下，反射强度最强，随着角度远离，反射强度急剧下降。

如之前所述，镜面反射成分是由下述式表示的，Ks表示镜面反射系数，is表示镜面光强度，因此这两者是影响亮度的强度的系数，由下述的成分表示如上述的路面上的反射的剧烈程度、和随着角度变化的镜面性质。

根据R光线完全被反射的方向向量、朝向V照相机的方向向量获得这两者的点积，从而在R和V一致时表示反射最强的光，进一步使该点积根据α镜面反射聚光度，计算出点积的α次方，表现出路面上的镜面反射的聚光的程度。

Ks(R·V)^αi_s

在本实施例中，仅处理夜间前灯路面反射引起的成为误检测原因的主要因的2个光成分、即漫反射成分和镜面反射成分，并利用于路面反射估计图像区域的估计。由此，通过将反射成分分为漫反射和镜面反射来处理，在删除实际在路面上产生的路面反射的白斑引起的误检测原因的同时，能够作为不会无端降低识别率、检测率的对策。

在该方法中，除了发现点光源的图像处理部分以外，都是估计处理，不会产生为了发现实际的反射区域而扫描图像的处理。因此，可以说与直到图像上的反射区域为止实际上都进行图像处理的专利文献1的技术相比，能够极力减小处理负荷，可应用于实时处理。

此外，在利用了停车支援用的后部照相机等在用于识别时不进行曝光控制的照相机的情况下，灯和路面反射一体成为白斑的情况也很多。针对这种情况，在本实施例中，由于将成为白斑的一体当作巨大的灯，因此能够将白斑区域外也较大且有可能成为误检测原因的路面反射估计图像区域进行遮掩。因此，即使是在灯和路面反射不一定分离的状况下进行了拍摄，该路面反射对策也能够成为充分有效的各应用的误检测对策。在灯和路面反射一体成为白斑的环境下，在该白斑的区域的周围产生有可能成为误检测原因的光分量等的可能性较高。

在本实施例中，并不判定灯和路面反射是否一体成为白斑、或者实际上是否存在巨大的灯，而是假设存在巨大的灯，从而估计路面反射估计图像区域。因此，实际上与灯和路面反射一体化的情况相比，路面反射估计图像区域会包含误差。

但是，即使是实际存在巨大的灯的情况、和灯与路面反射一体成为白斑的情况中的任一个情况，在其周围产生如光分量这样的误检测原因的事实不变，即使在假设存在巨大的灯的情况下估计路面反射估计图像区域，实际上也能够很好地对作为误检测原因而想要删除的区域进行遮掩，可很好地发挥如下作用，从各识别应用的处理区域中除去成为误检测原因的路面反射。

在路面反射估计部500中，由路面反射系数决定部510决定路面反射系数。路面反射系数决定部510根据行驶环境决定路面反射系数。行驶环境包括天气状况或路面状况、由车载导航提供的信息、雨刷的动作状态、时刻中的至少一个。

为了表现物体的光的反射，只要决定光源环境、物体表面的反射系数、物体与光源的位置关系、以及视点即可。在灯信息部400中，已经估计出灯强度并设定了配光图案。并且，对于灯与本车辆照相机的相对位置而言，也设定了灯3维位置。例如，根据雨刷的动作判定天气，从而变更漫反射系数以及镜面反射系数。若是晴天，则增大漫反射引起的路面反射的影响，若是雨天，则相反，是增大镜面反射的影响，由此变更系数。

在说明配光图案时说明了漫反射系数表格，因此在此说明镜面反射系数表格(【表2】)。路面越黑，且路面表面越湿润时，镜面反射成分变得越大，而为了剧烈地反射光，增大镜面反射系数。相反，路面干燥即如水泥地那样的情况下，由于镜面反射的影响很轻微，因此减小镜面反射系数。

【表2】

镜面反射系数表格

	沥青	水泥
			干的路面	0.7	0.6
湿润的路面	0.9	0.8
			全部被雪覆盖的路面	0.7	0.7

由此，在能够动态地估计路面反射系数的情况下，基于估计出反射系数的结果来估计反射区域，从而能够更准确地估计路面反射估计图像区域。因此，可适当抑制各识别应用中的误检测原因，同时削减所需之外的处理区域，能够抑制成为不检测的要因的不良影响。如图4所示，路面反射系数决定部510也可以利用天气判定部511、路面状况判定部512、车载导航513、雨刷514等的信息来决定路面反射系数。

漫反射位置估计部520估计在路面上产生的漫反射成为白斑的3维位置、即漫反射区域。如图11(a)所示，漫反射是与光的入射角度无关地光散射引起的反射，因此从被图10所示的配光图案包围的所有区域向照相机入射漫反射。

但是，由于根据配光图案随着路面位置的不同，灯的照射强度也不同，因此限定被估计为漫反射成为白斑的漫反射区域。在本实施例中，根据灯强度，判定在配光图案的等高线A1～A4中一直到什么范围有白斑出现。

图12是说明估计漫反射区域的方法的图，图12(a)、(b)是表示本车辆与后方车辆的位置、漫反射的状态、以及遮掩区域的图，图12(c)是由本车辆的鱼眼后部照相机拍摄到的图像的示意图。

在灯信息部400中，由灯强度估计部420估计灯强度，通过3维位置设定部430还设定灯的3维位置，并且通过配光图案设定部440还设定灯的配光图案。因此，也可以认为已经决定了如图12所示的相对于照相机的光的位置关系。此外，在路面反射系数决定部510中还决定漫反射系数。

因此，如图12(a)、(b)所示，根据后续车辆Vo的前灯位置判断车辆位置，基于该前灯的配光图案、灯强度和漫反射系数，判断从配光图案之中一直到哪个区域产生了漫反射引起的成为误检测原因的亮度差。

也就是说，根据由灯信息部400估计出的灯强度和灯位置、配光图案、以及由路面反射估计部500的路面反射系数决定部510决定的漫反射系数，在漫反射位置估计部520中，决定漫反射区域一直到哪个等高线为止产生成为误检测原因的亮度差。由此，根据路面的3维位置，能够确定对于图像识别而言成为误检测原因的反射区域。

例如，在图12(a)、(b)所示的情况下，将一直到图10中的等高线A2为止估计为漫反射区域Sa。另外，图12中的符号Sm是通过识别应用设定的遮掩区域的一例。在图12(c)所示的例中，根据后部照相机的图像121，估计因由2台后续车辆Vo在路面上产生的漫反射而对于图像识别而言成为误检测原因的3维漫反射区域Sa。

镜面反射位置估计部530估计因在路面上产生的镜面反射而对于图像识别而言成为误检测原因的3维镜面反射区域Sb。

图13是说明估计镜面反射区域的方法的图，图13(a)、(b)是表示本车辆与后方车辆的位置、镜面反射的状态、以及遮掩区域的图，图13(c)是由本车辆的鱼眼后部照相机拍摄到的图像的示意图。

如图11(b)所示，镜面反射是光的入射角度与反射角度相等的反射，因此如图13(a)、(b)所示，后续车辆Vo的前灯被路面反射，而被反射的光入射到本车辆Vt的后部照相机中。

但是，在实际的路面上，如图11(b)所示，并不是产生如镜子那样的完全的镜面反射，如图11(c)所示，镜面反射具有与入射角度相等的反射角度的光强度较强且其周边角度的光也变强的性质。因此，如图13所示，镜面反射区域Sb将在距离方向上以及在宽度方向上都具有某一程度的宽度的区域Sb限定为估计出现白斑的区域。在镜面反射位置估计部530中，如图13(a)所示，估计以×标记为基准用粗线示出的3维世界上的反射区域Sb。

在本实施例中，根据灯强度来改变进行镜面反射的宽度和距离，由此变更估计为白斑的区域。镜面反射区域几乎不受配光图案的影响，以后续车辆Vo的前灯位置与本车辆Vt的照相机位置为主决定镜面反射区域。

在灯信息部400中，由灯强度估计部420估计灯强度，通过灯3维位置设定部430还获取灯的3维位置。此外，在路面反射系数设定部510中决定镜面反射系数。如之前所述的镜面反射系数的表格，根据道路状态、路面的干燥或湿润的状况，来变更反射系数的选择。另外，通过配光图案设定部440还设定后续车辆Vo的灯的配光图案，但是在镜面反射位置估计中并不利用该配光图案。因此，如图13(a)、(b)所示，根据后续车辆Vo的前灯的位置判断车辆位置，能够根据估计出的灯强度和镜面反射系数，估计因镜面反射成为白斑的镜面反射区域Sb。

镜面反射区域Sb向本车辆Vt的后部照相机延伸，设定成具有延伸至比路面上的镜面反射位置更靠近本车辆Vt的一侧的长度、和与前灯的横宽大致相等的横宽。并且，例如在图13(c)所示的情况下，则根据后部照相机的图像131，将镜面反射白斑区域Sb设定成从2台后续车辆Vo的前灯朝向本车辆Vt的后部照相机以规定宽度延伸。

路面反射图像区域估计部540基于漫反射位置估计部520和镜面反射位置估计部530估计出的漫反射区域Sa和镜面反射区域Sb，计算图像上的路面反射估计图像区域。由于路面反射估计图像区域被确定为存在于路面上，因此路面反射图像区域估计部540将高度设定在路面上，分别从漫反射位置估计部520和镜面反射位置估计部530获取区域Sa、Sb的位置信息，从而能够决定路面平面上的3维位置。

在路面反射图像区域估计部540中，根据照相机的设置信息或照相机的视角等照相机内外部参数，并基于3维位置信息来确定路面反射估计图像区域，在各识别应用中设定图像区域信息来传递该路面反射估计图像区域，由此用于误检测抑制。由此，根据光的phong反射模型，将成为误检测原因的前灯的反射成分确定为漫反射和镜面反射，以能够实用地利用漫反射成分和镜面反射成分的精度应用于计算式中，从而估计在画面上成为误检测原因的路面反射估计图像区域，从而能够抑制误检测。特别是，若不是鱼眼照相机，则向画面下方延伸的反射在鱼眼照相机的镜面反射时朝向本车辆照相机沿倾斜方向延伸。无论照相机是鱼眼照相机，还是正投影的常规照相机，通过利用基于光的反射模型的反射区域估计、和各照相机的照相机几何，从而能够准确的估计图像上的反射区域。在漫反射位置估计部520和镜面反射位置估计部530中，与是什么样的照相机无关地，估计实际世界的路面上的区域。在路面反射图像区域估计部540中，根据外部世界的3维位置，对图像位置实施坐标变换。构成为仅通过将路面反射图像区域估计部540中的照相机几何模型切换为鱼眼照相机或正投影照相机，就能够估计图像上的反射区域。

<关于车载用环境识别部600>

在此，利用上述的在路面反射图像区域估计部540中估计出的路面反射估计图像区域，说明在各识别应用中如何实施路面反射引起的误检测抑制。

在车载用环境识别部600中，作为完成了路面反射对策的环境识别，进行车道识别、路边识别、行驶路径识别、路面标识识别、路面状况识别。

车道识别部610是对利用于行车线脱离警报或行车线脱离抑制的道路标志(白线)进行识别的识别应用，如图6所示，具备处理区域设定部611、反射区域遮掩部612、白线特征量提取部613、图像上车道提取部614、车辆坐标上车道估计部615。

在现有技术中的车道识别中，其他车辆等的灯的路面反射看上去宛如白线，存在误提取白线特征量的问题。若利用如现有技术的方法，则在高亮度的区域中，确定镜面反射，且能够作为误检测原因而进行删除，但是会将其周围展宽的薄的白色线上的反射等误检测为是白线。

因此，在本实施例的路面反射对策的车道识别部610中，按照不会从图像提取白线特征量的方式，进行从处理区域删除路面反射估计图像区域的遮掩处理，从而抑制误检测。

具体而言，在处理区域设定部611中设定用于从图像提取白线特征量的处理区域，在反射区域遮掩部612中从该设定的处理区域中删除成为误检测原因的路面反射估计图像区域，在白线特征量提取部613中进行从删除路面反射估计图像区域后剩余的处理区域中提取白线特征量的处理。因此，在估计为产生路面反射而产生了白色的光分量的区域内，不实施搜索白线特征量的处理，因此可从车道识别用的处理区域内提取很多白线的特征量。

即便在估计出的区域之外存在少量的反射，误提取出白线特征量，如果大部分是白线特征量，则根据提取图像上的车道的处理、白线特征量的直线性等删除噪声音素，因此能够抑制误检测。

并且，基于提取出的图像上的线，由图像坐标上车道估计部615估计本车辆的行车线中的横向位置、偏航角、曲率等，从而成功抑制了误检测。特别是，在车载后部照相机中，由于不存在前灯，所以很难看到本车辆后方的白线。因此，通过反射看到的白色的光分量容易成为误检测原因，但是通过在利用了光的反射的性质的phong反射模型中顺利地应用可在车载照相机环境下利用的信息，从而利用在了误检测抑制中。

路边识别部620与上述车道识别部610同样，设定用于提取路边特征量的处理区域，从该处理区域中删除容易成为误检测原因的路面反射估计图像区域，从删除路面反射估计图像区域后剩余的处理区域中提取路边特征量。因此，能够除去从误检测原因提取的特征量，能够抑制误检测。之后的处理与车道识别部610的流程相同，从路边特征量中提取在图像上用线排列的路边位置，并估计车辆坐标上的路边横向位置、偏航角、曲率。

如图7所示，行驶路径识别部630在处理区域设定部631中设定处理区域。并且，从由处理区域设定部631设定的处理区域中通过反射区域遮掩部632删除反射区域，以使不进行在行驶路径识别中无法判定是立体物还是路面而成为误检测原因的路面反射区域中的通常的平面区域提取处理。

并且，与通常的处理相同，为了根据设定的处理区域判定是否为路面平面，由图像间几何修正部633实施图像间几何修正，由平面区域提取部634实施图像间的差分小的路面平面区域的提取。接着，利用周围的立体物判定的结果、和灯判定的结果，由遮掩区域插值部635对被判定为路面反射区域的区域进行插值，最终由行驶路径决定部636决定行驶路径。

路面标识识别部640通过处理区域设定部641设定处理区域。在想要识别路面标识的时刻设定处理区域。可以是仅在想要根据导航仪等地图信息或GPS提供的位置信息、本车辆动作、通常的标识识别等来识别路面标识的时刻进行处理的方法，也可以是始终设置处理区域来进行识别的方法。

然后，通过反射区域遮掩部642从处理区域中删除反射区域，通过特征量提取部643实施从删除了上述反射区域的处理区域中提取特征量的处理。

进而，由图案匹配部644基于上述提取出的特征量来实施图案匹配，由此实施路面标识的识别。在现有技术中，由于路面反射成为了噪声，因此成了误检测的原因。

在路面标识整体被路面反射覆盖的情况下，很难检测该路面标识，若是路面反射与路面标识的一部分重叠的程度，通过将受到路面反射的影响的区域作为路面反射估计图像区域来对其进行遮掩，从而能够由图案匹配部644判断路面反射估计图像区域以外的部分的图案是否匹配。因此，能够削减路面标识的不检测、以及误检测。

路面状况识别部650识别路面的干燥、湿润、积雪等状况，并根据其识别结果，利用于路面反射系数的决定。首先，处理的流程与图8大致相同，设定用于识别路面状况的处理区域，从该处理区域中删除路面反射估计图像区域。并且，从删除了路面反射估计图像区域后剩余的处理区域中提取路面状况特征量，进行图案匹配，从而识别路面状况。因此，能够从处理区域中除去成为误检测原因的特征量，能够抑制路面状况的误检测。

此外，如图18所记载的，在后部照相机时的车辆检测部660中，检测本车辆变更车道时接触的可能性高的车辆，按照变更车道时进行警告或者不变更车道的方式进行控制。若是在前方安装的车载照相机，则利用于冲撞防止或前行车辆追踪等中。

在车辆检测中，首先，在处理区域设定部661中对通过应用想要看到的区域设定处理区域。而且，在反射区域设定部662中，若其中存在产生路面反射的区域，则从该处理区域之中确定路面反射区域。在此前说明的其他应用中，将产生路面反射的位置全部当作了处理区域对象外，但是在车辆检测中，存在有路面反射的区域的就近处就是检测对象的车辆。

因此，若将路面反射区域或光源作为处理区域对象，则可明确不检测车辆的情形。

因此，将车辆存在时产生前灯和路面反射的情况也考虑为车辆检测的1个信息，考虑前灯以及前灯所产生的路面反射的位置，按照包括车体和前灯在内容易提取作为车辆的特征量的方式，在按区域区分阈值设定部663中实施考虑到反射区域的随着区域而不同的阈值设定。路面的反射区域设定成不易出现特征量，高亮度的前灯本身意味着存在车辆的可能性高，因此将高亮度的前灯本身作为特征量来提取，并且从无前灯的车体后方，按照容易提取作为车体的特征量的方式以低阈值提取车辆特征量。基于该设定的阈值，在特征量提取部664中提取车辆特征量。基于提取出的特征量，实施形状分析，从而由形状分析部665判定发现的特征量是车辆的可能性是否高。在是车辆的可能性高的情况下，进一步分析特征量的时间上的动态，由动态分析部666分析该特征量是其他车辆的可能性是否高。

[实施例2]

在本实施例中特征点在于，构成为估计因夕阳或朝阳引起的在画面上产生的路面反射估计图像区域。由于对路面反射估计图像区域进行遮掩的基本处理的流程与实施例1相同，因此仅详细示出主要的相异部分的处理。

如图14所示，车辆用环境识别装置100具有判定昼夜的昼夜判定部312，基于昼夜判定部312的判定结果，在无需考虑太阳光的夜间利用灯信息部400和路面反射估计部500，在需要考虑太阳光的早晚等白天利用夕阳对策路面反射信息部4000和夕阳对策路面反射估计部5000，以进行切换。

假设图像获取部200、光源提取部300、车载用环境识别部600是可以共同利用的结构。以光源提取位置、重心、外切矩形等信息作为输入信息，输出信息作为要进行遮掩的图像上的区域，从而实现其他部分的共通化。

在本实施例中，互相切换灯信息部400及路面反射估计部500、与夕阳对策路面反射信息部4000及夕阳对策路面反射估计部5000，但是这些处理和内容有很多类似的部分。因此，也可以使灯信息部400等保持不变，通过切换一部分处理，从而选择性地实施夜间灯反射对策和夕阳路面反射对策。此外，也可以始终并列地实施夜间灯反射对策和夕阳路面反射对策这两者。也可以在夕阳对策路面反射信息部4000中判定光源是灯还是路面反射，对光源提取部300、或者灯信息部400进行路面反射对策。

基于昼夜判定部312的结果，判定由光源提取部300提取出的光源是由灯引起的路面反射还是由夕阳(或者朝阳)引起的路面反射，并基于判定结果实施路面反射对策。若是在夜间由前灯引起的路面反射，则实施灯信息部400和路面反射估计部500的处理，从而实施误检测抑制。相反，若不是夜间且已提取了光源，则估计为是夕阳或者朝阳，实施夕阳对策路面反射信息部4000和夕阳对策路面反射估计部5000的处理，从而实施误检测抑制。

夕阳对策路面反射信息部4000中的处理基本上与路面反射估计部400中的处理类似，如图15所示，在路面反射判定部4100中判定是否为因路面上的反射引起的光源。与夜间前灯的光源提取不同点在于，在估计夜间前灯的路面反射时，还搜索路面之上的区域，并提取成为光源本身的前灯本身。但是，若太阳光引起的路面反射，则不检测太阳本身，而是提取路面反射本身的高亮度区域。这是因为，即使路面反射区域位于图像上，也不能肯定太阳就是照射在图像视野内。此外还因为，若是太阳光，则由于对象过大，因此也有可能整个面都会成为白斑，难以顺利地提取太阳的位置。

此外，作为估计路面反射区域的又一个理由，考虑了太阳光引起的路面反射的误检测的情况下，与周围的路面相比产生亮度差的主因仅仅是镜面反射。因此，即使如求出漫反射成分那样预先不知道光源的位置，但如果是镜面反射，则根据照相机与路面反射的3维位置也能够导出太阳的方向。在此，对于太阳光时漫反射不易成为误检测原因的理由而言，若假设太阳光是存在于无限远处的点光源，从而考虑漫反射成分时，就能知道其理由。若是具有方向性且存在于近距离处的点光源的前灯，则从公式中也可以明确在其周围亮度差在等高线上产生变化。但是，在考虑了无限远处的点光源的情况下，对于无限远处的点光源的方向向量和假定了路面的物体方向向量在到达路面上的途中不会变化。也就是说，无限远处的太阳的漫反射在路面上进行均匀且明亮的照射，成为不易产生与周围路面的亮度差的色调，对于各识别应用而言很难成为误检测原因。只有太阳在路面上的镜面反射是容易成为太阳光引起的误检测原因的路面反射。

因此，提取路面反射区域，进一步由反射强度估计部4200估计路面反射的光的强度。接着，在反射3维位置设定部4300中估计产生了反射的路面3维位置，在太阳方位设定部4400中估计成为路面反射的原因的太阳的方位。太阳方位设定部4400也可以在太阳与车辆的方位的修正中利用本车辆动作4410，也可以从车载导航513的GPS提供的位置信息和行驶方位中分割出太阳方位。

图17是说明估计夕阳路面反射区域的方法的图，图17(a)是表示本车辆与太阳之间的位置、镜面反射的状态的图，图17(b)是由本车辆的鱼眼后部照相机拍摄的图像的示意图。与实施例1的结构的不同点在于，如图17(a)所示，光源的位置是太阳171的位置，通过图像处理提取的区域是路面反射区域。因此，如图17(b)的图像172所示，并没有出现根据路面反射区域和太阳171的位置关系可能成为误识别原因的白斑，但是估计出发白且延伸的光分量是向哪个方向延伸的。

由于能够确定太阳位置和路面反射位置，因此之后在夕阳对策路面反射估计部5000中，如图16所示，由路面反射系数决定部5100决定路面反射系数，在镜面反射位置估计部5300中估计包括误检测原因的漫反射区域和镜面反射区域。估计之后的处理与实施例1相同，由路面反射图像区域估计部5400根据漫反射区域和镜面反射区域估计路面反射估计图像区域，并将该区域发送至各识别应用，在各识别应用中，按照在路面反射估计图像区域中不进行图像处理的方式实施遮掩。

实际上，在夕阳路面反射中，判断漫反射成分不会成为误检测原因，因此不加以利用。即便是在其他光源或暮色时的前灯中利用漫反射成分，在夕阳或朝阳的反射中，将漫反射系数设为0.0来利用于反射区域估计中。

由此，对于灯以外的光的反射，基本的考虑方式是同样的，确定成为误检测原因的光源，通过估计路面反射位置、路面反射系数等，从而估计有可能成为误检测原因的路面反射估计图像区域，并将该区域作为各识别应用的识别对象外，在处理区域中通过进行遮掩来抑制误检测。

此外，通过利用这种物理光的模式，能够避免所需以上的遮掩区域增大，也能够避免多余的不检测。

此外，与现有技术相比，即使不是立体照相机也能够进行反射应对，例如，如图17(b)所示，即便是单眼照相机，也不需要进行直到没有镜面反射引起的出现白斑的区域为止扫描图像处理这样的处理负荷高的处理。

特别是，由光源提取部300执行的处理是图像处理专用的硬件比较擅长的处理内容，因此在具备图像处理专用硬件的环境下，能够以更短的处理时间提取光源。并且，在提取光源以外的处理中，不进行扫描图像的处理，因此能够抑制处理时间的同时，还能够抑制路面反射的误检测。

另外，本发明并不限于上述的各实施例的内容，在不超出本发明的宗旨的范围内能够进行各种变更。

Claims (12)

1.一种车载用环境识别装置，其基于由车载照相机拍摄到的图像来识别本车辆的周围环境，该车载用环境识别装置的特征在于，具备：

光源提取部，其从所述图像中提取光源；

灯信息部，其基于所述光源在所述图像上的位置，提取出引起该光源在环境识别时成为误检测原因的路面反射的灯；

路面反射估计部，其估计所述灯在路面进行反射的所述图像上的路面反射估计图像区域；和

车载用环境识别部，其基于该路面反射估计图像区域，来识别本车辆的周围环境。

2.根据权利要求1所述的车载用环境识别装置，其特征在于，

所述灯信息部估计包括提取出的灯的灯强度、或3维位置、或配光图案的信息之中的一个信息在内的灯信息，

所述路面反射估计部基于所述灯信息，估计所述灯在路面进行反射的所述图像上的路面反射估计图像区域。

3.根据权利要求2所述的车载用环境识别装置，其特征在于，

光源提取部从所述图像中将具有预先设定的阈值以上的面积的点光源作为所述光源提取出。

4.根据权利要求2所述的车载用环境识别装置，其特征在于，

所述灯信息部具备：

灯判定部，其基于由所述光源提取部提取出的光源在图像上的位置，判定所述光源是否为所述灯；

灯强度估计部，其基于在所述图像中因所述灯而出现白斑的区域的面积，来估计所述灯的灯强度；

灯3维位置设定部，其基于所述灯在图像上的位置，来设定该灯的3维位置；和

配光图案设定部，其基于由该灯3维位置设定部所设定的所述灯的3维位置，来设定所述灯的配光图案，

将由所述灯强度估计部估计出的灯强度低于预先设定的灯强度的灯判定为并非成为误检测原因的灯的对象。

5.根据权利要求1所述的车载用环境识别装置，其特征在于，

所述路面反射估计部估计所述灯在路面上产生的漫反射位置和镜面反射位置，并基于该估计出的漫反射位置和所述镜面反射位置，来估计所述路面反射估计图像区域。

6.根据权利要求5所述的车载用环境识别装置，其特征在于，

所述路面反射估计部根据行驶环境来决定路面反射系数，并根据该路面反射系数变更所述路面反射估计图像区域。

7.根据权利要求6所述的车载用环境识别装置，其特征在于，

所述行驶环境是天气状况、路面状况、由车载导航提供的信息、雨刷的动作状态、时刻的至少一个。

8.根据权利要求1所述的车载用环境识别装置，其特征在于，

所述车载用环境识别部将所述路面反射估计图像区域作为识别所述车辆的周围环境的识别应用中的不检测区域。

9.根据权利要求8所述的车载用环境识别装置，其特征在于，

所述车载用环境识别部作为所述识别应用而包括车道识别、路边识别、行驶路径识别、路面标识识别、路面状况识别的至少1个。

10.根据权利要求1所述的车载用环境识别装置，其特征在于，具备：

昼夜判定部，其判定昼夜；

夕阳对策路面反射信息部，在由该昼夜判定部判定为是需要考虑太阳光的时间带的情况下，判定由所述光源提取部提取出的光源是否为在环境识别时成为误检测原因的太阳光；和

夕阳对策路面反射估计部，其估计由该夕阳对策路面反射信息部判定为成为误检测原因的太阳光在路面进行反射的所述图像上的路面反射估计图像区域，

所述车载用环境识别部基于由该夕阳对策路面反射估计部和所述路面反射估计部中的至少一个估计出的路面反射估计图像区域，来识别本车辆的周围环境。

11.根据权利要求10所述的车载用环境识别装置，其特征在于，

所述夕阳对策路面反射信息部具备：

路面反射判定部，其判定是否为因路面上的反射引起的光源；

反射强度估计部，其估计路面反射的光的强度；

反射3维位置设定部，其设定产生反射的路面3维位置；和

太阳方位设定部，其设定成为路面反射的原因的太阳的方位。

12.根据权利要求10所述的车载用环境识别装置，其特征在于，

所述夕阳对策路面反射估计部估计所述光源在路面上产生的漫反射区域和镜面反射区域，并基于该估计出的漫反射区域和镜面反射区域，来估计所述路面反射估计图像区域。

Images