CN106295493B - 车外环境识别装置 - Google Patents

Abstract

在早期高精度地确定发光源。车外环境识别装置120具备：车辆确定部164，对于利用拍摄装置110连续拍摄的图像的各个，确定前行车辆和该前行车辆占有的车辆区域；发光源候补确定部166，针对已确定的车辆区域，将发光源的候补确定为发光源候补；移动量导出部168，导出发光源候补在车辆区域中的在预定期间的移动量；发光源候补排除部170，在利用发光源候补确定部166确定了的发光源候补中，排除移动量为预定的移动量阈值以上的发光源候补；灯判定部174，对于利用发光源候补确定部166确定了的发光源候补中的没有被发光源候补排除部170排除的发光源候补，判定是否为亮灯状态的灯。

Description

车外环境识别装置

技术领域

本发明涉及确定前行车辆的处于亮灯状态的刹车灯的车外环境识别装置。

背景技术

以往，已知有如下进行控制(巡航控制)的技术：检测位于本车辆前方的前行车辆等立体物，避免与前行车辆碰撞(碰撞避免控制)，或将与前行车辆的车间距离保持在预定的距离(例如，专利文献1)。这里，如果设置有识别前行车辆的刹车灯(灯)是否亮灯(刹车操作状态)等，推测前行车辆的减速动作这样的处理，则能够进行更加平稳的巡航控制。

作为这样的检测前行车辆的刹车灯是否亮灯的技术，公开了将与从利用拍摄装置拍摄的图像确定的发光源大小相关的阈值，基于车外环境的亮度进行变更而判定刹车灯是否亮灯的技术(例如，专利文献2)。

现有技术文献

专利文献

专利文献1：日本专利第3349060号公报

专利文献2：日本特开2013-109391号公报

发明内容

技术问题

然而，例如若在前行车辆的刹车灯罩和/或后车窗等上有太阳光反射，则存在有太阳光反射的区域满足发光源的亮度的条件的情况。在这样的情况下，在上述的专利文献2的技术中，由于不改变与发光源的亮度有关的条件，所以会将有太阳光反射的区域确定为发光源，可能会将该发光源误判为亮灯状态的刹车灯。

另一方面，也考虑了在一定的时间持续检测已确定的前行车辆的发光源，基于检测的发光源的亮度变化，判定刹车灯是否亮灯。然而，在该方法中，在刚刚确定了前行车辆之后等信息还没被充分地积累的期间，难以进行刹车灯是否亮灯的判定。

本发明鉴于这样的课题，目的在于提供一种能够在早期高精度地确定亮灯状态的灯的车外环境识别装置。

技术方案

为了解决上述课题，本发明的车外环境识别装置的计算机作为以下的部件发挥功能：车辆确定部，对于利用拍摄装置连续拍摄的图像的各个，确定前行车辆和该前行车辆所占具有的车辆区域；发光源候补确定部，针对已确定的上述车辆区域，将发光源的候补确定为发光源候补；移动量导出部，导出上述发光源候补在上述车辆区域中的在预定期间的移动量；发光源候补排除部，在利用上述发光源候补确定部确定了的上述发光源候补中，排除上述移动量为预定的移动量阈值以上的发光源候补；以及灯判定部，对于利用上述发光源候补确定部确定了的上述发光源候补中的没有被上述发光源候补排除部排除的发光源候补，判定是否为亮灯状态的灯。

另外，上述移动量导出部可以导出上述发光源候补的几何重心位置的移动量。

发明效果

根据本发明，能够在早期高精度地确定发光源。

附图说明

图1是表示环境识别系统的连接关系的框图。

图2是表示车外环境识别装置的概要的功能的功能框图。

图3是用于说明彩色图像和距离图像的说明图。

图4是用于说明车辆确定部的处理的说明图。

图5是用于说明车辆确定部的处理的说明图。

图6是用于说明第一曝光形态的拍摄和第二曝光形态的拍摄的区别的说明图。

图7是表示颜色阈值的说明图。

图8是说明发光源候补排除处理的说明图。

图9是表示本车辆与前行车辆之间的相对距离和像素数的关系的说明图。

图10是表示车外环境识别处理的流程图。

符号说明

110：拍摄装置

120：车外环境识别装置

164：车辆确定部

166：发光源候补确定部

168：移动量导出部

170：发光源候补排除部

174：灯判定部

具体实施方式

以下，参照附图，对本发明的优选实施方式进行详细说明。上述实施方式所示的尺寸、材料、其他具体的数值等仅是为了使发明容易理解的例示，除了有特殊说明的情况外，并不限定本发明。应予说明，在本说明书和附图中，通过对实际上具有相同的功能、构成的元件标记相同的符号，从而省略重复说明，并且对于与本发明没有直接关系的元件省略图示。

近年来，通过搭载于车辆的车载照相机拍摄本车辆的前方的道路环境，基于拍摄的图像内的颜色信息和/或位置信息确定前行车辆等立体物，避免与已确定的立体物碰撞，或将与前行车辆的车间距离保持在预定的距离(ACC：Adaptive Cruise Control：自适应巡航控制)的搭载有所谓碰撞防止功能的车辆正在普及。

在上述ACC、碰撞防止功能中，例如以如下方式进行控制，即导出位于本车辆前方的立体物与本车辆之间的相对距离，基于上述相对距离，避免与位于本车辆前方的立体物的碰撞，或在立体物为车辆(前行车辆)的情况下，将与该前行车辆的相对距离保持在预定的距离。另外，通过加入识别前行车辆的刹车灯是否亮灯等，并推测前行车辆的减速动作的处理，能够实现更加平稳的巡航控制。以下，说明用于实现这样的目的的环境识别系统，并详细记述作为其具体的构成元件的车外环境识别装置。

(环境识别系统100)

图1是表示环境识别系统100的连接关系的框图。环境识别系统100构成为包括在本车辆1内设置的拍摄装置110、车外环境识别装置120和车辆控制装置(ECU：EngineControl Unit，发动机控制单元)130。

拍摄装置110包括CCD(Charge-Coupled Device：电荷耦合器件)和/或CMOS(Complementary Metal-Oxide Semiconductor：互补金属氧化物半导体)等拍摄元件而构成，能够拍摄本车辆1的前方，生成由颜色值表示的彩色图像。这里，颜色值是一个亮度(Y)和两个色差(UV)构成的、或者由三个色相(R(红)、G(绿)、B(蓝))构成的数值组。

另外，拍摄装置110是在本车辆1的行进方向侧以两个拍摄装置110各自的光轴大致平行的方式，在大致水平方向上间隔地配置。拍摄装置110例如按每1/20秒的帧(20fps)连续而生成拍摄本车辆1前方的检测区域而得的图像数据。这里，从利用拍摄装置110生成的图像数据识别的确定物不仅可以是车辆、行人、信号灯、道路(行驶道路)、护栏、建筑物之类的独立存在的立体物，还可以包括刹车灯、高位制动灯、尾灯、方向指示灯、信号灯的各亮灯部分等能够确定为立体物的一部分的物体。以下的实施方式的各功能部以这样的图像数据的更新作为契机按每帧进行各处理。

并且，在本实施方式中，拍摄装置110在第一曝光形态下拍摄检测区域，生成第一图像，第一曝光形态示出与车外环境的亮度(照度计的计测结果等)对应的曝光时间、光圈。另外，拍摄装置110生成能够辨别刹车灯等确定的发光源是否正在自发光的第二图像。作为该方法，使用动态范围广的拍摄元件，可以以不发光的立体物不产生黑色溢出(黒つぶれ)，发光源不产生高光溢出(白飛び)的方式进行拍摄，也可以在曝光形态(曝光时间、光圈)与第一曝光形态不同的第二曝光形态下拍摄检测区域，生成第二图像。例如，如果为白天，则使第二曝光形态的曝光时间比与明亮的车外环境对应的第一曝光形态的曝光时间短，或者缩小光圈而生成第二图像。在本实施方式中，第一图像和第二图像均作为彩色图像和距离图像而使用。另外，上述第一曝光形态和第二曝光形态通过如下方式实现。

例如，拍摄装置110通过按时间划分周期性的拍摄时刻，交替进行第一曝光形态的拍摄和第二曝光形态的拍摄，从而依次生成第一图像和第二图像。另外，拍摄装置110可以按像素设置有两个电容器，在能够并行地将电荷充电到这两个电容器的拍摄元件中，使利用一次曝光充电的时间不同而并行地生成曝光形态不同的两个图像。并且，拍摄装置110可以在一个电容器的电荷的充电中，使时间不同而读取两次图像，并行地生成曝光形态不同的两个图像。另外，拍摄装置110可以由使曝光形态不同的两组拍摄装置构成(这里，两个拍摄装置110×两组)，从两组拍摄装置110分别生成图像。控制曝光形态的曝光时间例如被适当地控制在1～60msec的范围内。

车外环境识别装置120从两个拍摄装置110分别获取图像数据，使用所谓图案匹配而导出视差(角度差)，将基于视差而导出的视差信息(相当于后述的三维的位置信息)对应于图像数据而生成距离图像。对彩色图像和距离图像如后进行详细描述。

另外，车外环境识别装置120使用基于彩色图像的颜色值和基于距离图像的包括与本车辆1的相对距离的实际空间中的三维的位置信息，将颜色值相等的三维位置信息相近的区块彼此群组化为立体物，确定本车辆1前方的检测区域中的立体物是否与任一确定物(例如，前行车辆)对应。例如，通过相对距离等确定前行车辆，并且，通过颜色值掌握该前行车辆的刹车灯的位置、是否亮灯。通过这样的处理，能够迅速掌握通过刹车灯的亮灯显示的该车辆的减速，并用于碰撞避免控制、ACC。

当将立体物确定为前行车辆时，车外环境识别装置120一边追踪其前行车辆，一边导出前行车辆的相对速度、与前行车辆的相对距离等，进行前行车辆和本车辆1发生碰撞的可能性是否高的判定。这里，在判定为碰撞的可能性高的情况下，车外环境识别装置120将该内容通过设置于驾驶员前方的显示器122而向驾驶员进行警告显示(报告)，并且向车辆控制装置130输出表示该内容的信息。

车辆控制装置130通过方向盘132、加速踏板134、制动踏板136而接收驾驶员的操作输入，并通过传递到转向机构142、驱动机构144、制动机构146而控制本车辆1。另外，车辆控制装置130根据车外环境识别装置120的指示，控制驱动机构144、制动机构146。

以下，对车外环境识别装置120的构成进行详细描述。这里对本实施方式中特征性的前行车辆的确定顺序和前行车辆中的亮灯状态的刹车灯的判定顺序进行详细说明，对与本实施方式的特征无关的构成省略说明。

(车外环境识别装置120)

图2是表示车外环境识别装置120的概要的功能的功能框图。如图2所示，车外环境识别装置120构成为包括I/F部150、存储部152和中央控制部154。

I/F部150是用于与拍摄装置110和/或车辆控制装置130进行双向信息交换的接口。存储部152由RAM、闪存、HDD等构成，保存在以下所示的各功能部的处理所需要的各种信息，另外，暂时保存从拍摄装置110接收的图像数据(基于第一图像和第二图像的彩色图像、距离图像)。

中央控制部154是包括中央处理装置(CPU)、存储有程序等的ROM、作为工作区域的RAM等的由半导体集成电路构成的计算机而成，通过系统总线156来控制I/F部150、存储部152等。另外，在本实施方式中，中央控制部154作为图像处理部160、位置信息导出部162、车辆确定部164、发光源候补确定部166、移动量导出部168、发光源候补排除部170、面积变换部172、灯判定部174发挥功能。以下，对这样的功能部，基于主要的目的，按照图像处理、车辆确定处理、发光源候补确定处理、发光源候补排除处理、灯判定处理这样的顺序来说明详细的动作。

(图像处理)

图像处理部160从两个拍摄装置110分别获取图像数据(第一图像和第二图像)，并利用所谓的图案匹配导出视差，图案匹配是指从一个第一图像检索与从另一个第一图像任意提取的区块(例如水平4个像素×垂直4个像素的排列)对应的区块。另外，图像处理部160针对第二图像也使用图案匹配而导出视差。这里，“水平”表示所拍摄的彩色图像的画面横向，“垂直”表示所拍摄的彩色图像的画面纵向。

作为该图案匹配，考虑在两个图像间，在表示任意的图像位置的区块单位中比较亮度(Y色差信号)。例如有获取亮度的差值的SAD(Sum of Absolute Difference：绝对误差和)、将差值平方而使用的SSD(Sum of Squaredintensity Difference：差值平方和)和/或获取从各像素的亮度减去平均值的分散值的类似度的NCC(Normalized CrossCorrelation：归一化互相关)等方法。图像处理部160对投射到检测区域(例如水平600个像素×垂直180个像素)的全部的区块进行这样的区块单位的视差导出处理。这里，虽然将区块设为水平4个像素×垂直4个像素，但可以任意地设定区块内的像素数。

但是，在图像处理部160中，虽然能够按每个作为检测分辨率单位的区块导出视差，但无法识别该区块是哪一个立体物的一部分。因此，基于视差导出的视差信息不是以立体物单位，而是以检测区域中的检测分辨率单位(例如区块单位)独立导出。

位置信息导出部162基于利用图像处理部160导出的检测区域214内的每个区块(每个立体部位)的视差，使用所谓立体法，导出包括水平距离、高度以及相对距离的三维的位置信息。这里，立体法是通过使用三角测量法，从立体部位的视差导出该立体部位相对于拍摄装置110的相对距离的方法。此时，位置信息导出部162基于与立体部位的相对距离和距离图像212上的从与立体部位处于相同相对距离的道路表面上的点到立体部位为止的距离，导出立体部位的从道路表面起算的高度。应予说明，将这样导出的视差信息(三维的位置信息)与图像数据关联而得到的图像与上述的彩色图像区别而称为距离图像。

图3是用于说明彩色图像210和距离图像212的说明图。例如，通过两个拍摄装置110，对检测区域214生成图3(a)那样的彩色图像(图像数据)210。但是，这里为了容易理解，仅示意性地示出两个彩色图像210中的一个。在本实施方式中，图像处理部160从这样的彩色图像210求得每个立体部位的视差，位置信息导出部162基于视差导出每个立体部位的三维的位置信息，形成图3(b)那样的距离图像212。在距离图像212中的各立体部位，关联该立体部位的视差信息。这里为了便于说明，由黑色的点表示导出了视差信息的立体部位。在本实施方式中，分别基于第一图像和第二图像生成这样的彩色图像210和距离图像212。因此，在本实施方式中，使用基于第一图像的彩色图像210、基于第一图像的距离图像212、基于第二图像的彩色图像210、基于第二图像的距离图像212。

(车辆确定处理)

图4和图5是用于说明车辆确定部164的处理的说明图。车辆确定部164首先将基于第一图像的距离图像212的检测区域214相对于水平方向分割成多个分割区域216。如此，分割区域216是图4(a)那样的长方格形状。这样的长方格形状的分割区域216原本例如水平宽度是4个像素，排列成150列，但这里为了便于说明，将检测区域214十六等分进行说明。

接着，车辆确定部164按每个分割区域216，基于位置信息，以位于道路表面的上方的全部的区块为对象，将划分为多个的预定距离各自所包含的相对距离进行积分而生成直方图(图4(b)中，以横向的长方形(bar)表示)。如此，得到图4(b)那样的距离分布218。这里，纵向表示进行了划分的预定距离(距离分区)，横向表示距离分区各自包含相对距离的区块个数(频数)。这里，图4(b)是进行计算基础上的虚拟画面，实际上不与视觉上的画面的生成相符。车辆确定部164参照这样导出的距离分布218，确定作为相当于峰值的相对距离的代表距离(图4(b)中，以用黑色填充的长方形表示)220。这里，相当于峰值是指在峰值或者峰附近满足任意的条件的值。

接下来，车辆确定部164比较邻接的分割区域216彼此，如图5所示，将代表距离220接近的(例如，位于1m以下)分割区域216群组化而生成一个或者多个分割区域组222。此时，即使在三个以上的分割区域216，代表距离220接近的情况下，也将连续的全部的分割区域216合成分割区域组222。通过上述群组化，车辆确定部164能够确定位于道路表面的上方的立体物。

接着，车辆确定部164以分割区域组222内的相对距离相当于代表距离220的区块为基点，将该区块与水平距离的差值、高度的差值以及相对距离的差值在预先决定的范围(例如0.1m)内的区块假设为对应于相同的确定物而群组化。如此，生成作为假设的区块组的立体物224。上述的范围以实际空间上的距离表示，可以通过制造商、乘客设定成任意的值。另外，车辆确定部164针对通过群组化新增加的区块，也以该区块为基点，使水平距离的差值、高度的差值以及相对距离的差值处于预定范围内的区块进一步群组化。其结果能够假设为相同的确定物的区块全部被群组化。

另外，这里，分别独立地判定水平距离的差值、高度的差值以及相对距离的差值，仅在全部包含于预定范围的情况下，作为相同的群组，但也可利用其他的计算而得到。例如，也可以在水平距离的差值、高度的差值以及相对距离的差值的均方根((水平距离的差值)²+(高度的差值)²+(相对距离的差值)²)包含于预定范围的情况下，作为相同的群组。通过上述计算，能够导出区块彼此在实际空间上的正确的距离，因而能够提高群组化精度。

接下来，如果进行了群组化的立体物224满足相当于预先决定的车辆的预定的条件，则车辆确定部164将该立体物224决定为确定物“车辆”。例如，车辆确定部164在进行了群组化的立体物224位于道路上的情况下，判定该整个立体物224的大小是否相当于确定物“车辆”的大小，如果判定为相当于确定物“车辆”的大小，则将该立体物224确定为确定物“车辆”。另外，车辆确定部164将确定为确定物“车辆”的立体物224在画面上占有的矩形的区域确定为车辆区域。

这样，在车外环境识别装置120中，能够从作为第一图像的距离图像212，提取一个或者多个立体物224作为确定物、例如车辆(前行车辆)，并能够将该信息用于各种控制。例如，若检测区域214内的任意的立体物224被确定为车辆，则能够进行如下的控制，即追踪确定了的车辆(前行车辆)，检测相对距离、相对加速度，避免与前行车辆碰撞，将与前行车辆的车间距离保持在安全的距离。为了进一步迅速掌握这样的前行车辆的确定、前行车辆的举动，以下从位于车辆区域的发光源候补中判定亮灯状态的刹车灯。

(发光源候补确定处理)

然而，第二图像例如是在能够辨别确定的发光源(这里，为亮灯状态的刹车灯)的第二曝光形态下拍摄的图像。这里，如刹车灯那样进行自发光的物体能够获得高的颜色值，不限于太阳、街灯的亮度(外部环境)。特别是，刹车灯在亮灯时的亮度在法规上有大致的规定，因而通过仅在以预定的亮度曝光的曝光形态(例如，短时间的曝光)下进行拍摄，从而能够容易地仅提取相当于刹车灯的像素。

图6是用于说明第一曝光形态的拍摄和第二曝光形态的拍摄的差别的说明图。图6(a)表示基于在第一曝光形态下拍摄的第一图像的彩色图像210，特别是，在图6(a)的左图中尾灯亮灯，在图6(a)的右图中除了尾灯，刹车灯也亮灯。参照图6(a)可知，在基于车外环境的亮度的第一曝光形态中，在刹车灯为熄灭状态且尾灯为亮灯状态时的尾灯位置230的颜色值和刹车灯为亮灯状态且尾灯为亮灯状态时的刹车灯位置232之间几乎不产生颜色值的差。这是由于在曝光时间长的第一曝光形态中，尾灯和刹车灯的RGB成分全部的颜色值均已饱和。

图6(b)表示基于在第二曝光形态下拍摄的第二图像的彩色图像210，特别是，在图6(b)的左图中尾灯亮灯，在图6(b)的右图中除了尾灯，刹车灯也亮灯。第二曝光形态设定成仅能够获取刹车灯亮灯时的颜色值。因此，参照图6(b)可知，即使在尾灯为亮灯状态下在尾灯位置230，也几乎无法基于其亮度获取颜色值，在刹车灯为亮灯状态时的刹车灯位置232，能够明确地获取高的颜色值。

在上述第二曝光形态中，优选设定为相当于刹车灯的颜色值的R成分在拍摄元件中处于饱和与不饱和的边界的曝光时间。拍摄装置110由于通常动态范围比人窄小得多，所以若在傍晚这样的低亮度下利用第一曝光形态拍摄，则相对于车外环境刹车灯的颜色值相对高。这样，不仅R成分，与R成分重叠而G成分和/或B成分也饱和成为最大值(例如颜色值为255)，像素变白。因此，通过使第二曝光形态具有在刹车灯亮灯时R成分处于饱和与不饱和的边界的程度的曝光时间，从而能够与外部的环境无关地，抑制对G成分、B成分的颜色值的影响，同时以最大值提取R成分。这样，例如，能够最大限度确保与尾灯的颜色值差。

具体而言，在夜间行驶时存在前行车辆的情况下，若以使亮灯状态的刹车灯变为颜色范围(R)“200以上”的方式设定第二曝光状态，则亮灯状态的尾灯例如以颜色范围(R)“50”、颜色范围(G)“50”、颜色范围(B)“50”程度，显示于基于第二图像的彩色图像210。与此相对，亮灯状态的刹车灯例如以颜色范围(R)“200以上”，颜色范围(G)“50以下”，颜色范围(B)“50以下”显示于第二图像。这样，发光源候补确定部166通过基于第二图像的彩色图像210，能够确定亮灯状态的刹车灯。以下，从基于第二图像的彩色图像210，对将包含亮灯状态的刹车灯的发光源的候补确定为发光源候补的发光源候补确定处理进行说明。

图7是表示颜色阈值的说明图。在本实施方式中，例如，如图7所示，作为用于从基于第二图像的彩色图像210确定亮灯状态的刹车灯的颜色阈值，设置有“黄色(Y)”、“红色(R)”、“与红色比较稍暗的红色(WR1)”、“更暗的红色(WR2)”、“最暗的红色(WR3)”这五个等级。这里将第二曝光形态的标准的快门速度设为17msec。另外，在本实施方式中，不直接使用这样的多个颜色阈值，而采用基于多个颜色阈值的多个颜色条件。这里，作为多个颜色条件，设置有“黄色”(以下，简称为“第一颜色条件”)、“黄色”+“红色”(以下，简称为“第二颜色条件”)、“黄色”+“红色”+“与红色比较稍暗的红色”(以下，简称为“第三颜色条件”)、“黄色”+“红色”+“与红色比较稍暗的红色”+“更暗的红色”(以下，简称为“第四颜色条件”)、“黄色”+“红色”+“与红色比较稍暗的红色”+“更暗的红色”+“最暗的红色”(以下，简称为“第五颜色条件”)这五个等级。这样，将各条件设为各颜色阈值和比其强度(亮度)高的其他颜色阈值之和的理由是，适当地求出强度比预定的颜色阈值高的区域。

发光源候补确定部166从基于第二图像的彩色图像210，以像素单位获取三个色相(R、G、B)的颜色值。至少作为“最暗的红色”的颜色值的像素有可能是拍摄亮灯状态的刹车灯而得到的像素，所以发光源候补确定部166确定颜色值满足第五颜色条件的像素，即，为“最暗的红色”的颜色值以上的像素。应予说明，检测区域214例如为雨天、阴天的情况下，发光源候补确定部166可以以能够获取本来的颜色值的方式调整白平衡而获取。

发光源候补确定部166在已确定的满足第五颜色条件的像素彼此的水平距离的差值、高度的差值以及相对距离的差值处于预定范围(例如0.1m)内的情况下，将其多个像素群组化为一个发光源候补。这样，即使构成刹车灯的像素跨越多个，另外，即使车辆的左右的刹车灯分别由多个灯构成的情况下，也能够将其作为存在于左右的刹车灯中的一个而单独识别。

另外，发光源候补确定部166将基于第一图像确定的车辆区域与确定的发光源候补根据基于各自的图像的距离图像212所示的视差信息而关联。

另外，发光源候补确定部166在每次获取第一图像和第二图像，在前次取得的第二图像中的发光源候补和这次取得的第二图像的发光源候补在车辆区域中处于预定范围内的情况下，关联为相同的发光源候补。这样，当发光源候补确定部166确定了发光源候补时，发光源候补确定部166能够追踪该发光源候补。

(发光源候补排除处理)

然而，由于通过日照条件(外部环境)，在刹车灯罩、后车窗有太阳光反射，所以在第二图像中有太阳光反射的区域的颜色值变高，有太阳光反射的区域可能被误检测为发光源候补。特别是，在刹车灯罩、红色的车体的车辆中，若有太阳光反射，则有太阳光反射的区域的红色的颜色值(R)变高，变成与刹车灯亮灯的情况相同的颜色值。在这样的情况下，即使刹车灯没有亮灯，也有可能由于有太阳光反射的刹车灯罩、红色的车体的一部分，而误判定为刹车灯正在亮灯。

这里，在第二图像中，虽然亮灯状态的刹车灯相对于车辆区域常处于相同的位置关系，但是因太阳光的反射颜色值变高的位置根据太阳与前行车辆和本车辆1的位置关系而变化。

因此，移动量导出部168对于利用发光源候补确定部166确定的位于车辆区域内的发光源候补，导出利用发光源候补确定部166关联的10帧的第二图像中的移动量(从车辆区域的决定的位置起算的相对的移动量)。更具体而言，移动量导出部168对于确定了发光源候补的最初的第二图像和其10帧后的第二图像，以车辆区域中的左下角为原点导出发光源候补的几何学上的重心位置。然后，移动量导出部168将从前行车辆和发光源候补被确定了的最初的第二图像中的发光源候补的重心位置到10帧后的第二图像中的发光源候补的重心位置为止的距离作为移动量而导出。应予说明，当确定了与前次帧中的发光源候补对应的发光源候补时，移动量导出部168也可以通过导出从前次帧起算的移动量，并将这些累加，来导出10帧的第二图像中的移动量。

并且，发光源候补排除部170在利用移动量导出部168导出的发光源候补的移动量为预定的移动量阈值(例如，50cm)以上的情况下，作为因太阳光的反射而红色的颜色值变高的区域，从后述的灯判定处理中的发光源候补排除。应予说明，这里，排除了一次的发光源候补即使在其之后的帧中被确定为对应的发光源候补，也从灯判定处理中的发光源候补持续排除。

图8是说明发光源候补排除处理的说明图。作为一个例子，如图8(a)所示，在车辆区域240内确定有三个发光源候补242a、242b、242c。如图8(b)所示，发光源候补242a随着时间而(10帧之间)移动，在10帧之间发光源候补242a的移动量移动得比移动量阈值多。在这样的情况下，如图8(c)所示，发光源候补排除部170将发光源候补242a从发光源候补排除。

然后，在以下说明的灯判定处理中，对于从位于车辆区域内的发光源候补除去了被排除的发光源候补的发光源候补，判定是否为亮灯状态的刹车灯。换句话说，对于持续10帧移动量小于移动量阈值的发光源候补，判定是否为亮灯状态的刹车灯。

(灯判定处理)

然而，若本车辆1和前行车辆的相对距离长，则满足颜色条件的发光源候补变小，其像素数也少。与此相对，若与前行车辆的相对距离短，则满足颜色条件的发光源候补变大，其像素数变多。因此，即使刹车灯维持亮灯状态，基于与前行车辆的相对距离的变化，满足颜色条件的像素数也变动。例如，尽管刹车灯处于亮灯状态，因与前行车辆的位置关系而造成满足颜色条件的像素数不同时，即使原本刹车灯处于亮灯状态而存在满足颜色条件的像素，也会产生相对距离也过长，其个数达不到阈值的结果。因此，在本实施方式中，基于与前行车辆的相对距离将像素数变换为实际的面积。

图9是表示本车辆1与前行车辆之间的相对距离和像素数的关系的说明图。在图9中，横轴表示相对距离，纵轴表示预定大小的立体物占有的像素数。参照图9可以理解，相同的立体物(相同的面积)的相对距离越长，像素数变得越小。上述变化可以通过函数近似，从相对距离0位置到图9中的相对距离a位置，像素数与距离成比例，a位置以后与相对距离的3/2次方成比例。通常，图像中的立体物的大小仅与其相对距离成比例，但为发光源的情况下，受到发光的影响而视觉上的发光范围变广。因此，如图9所示，相对距离和像素数的关系为非线性。

因此，面积变换部172计算满足颜色条件的像素数，颜色条件是基于与前行车辆的相对距离而设定的，通过图9的反函数(除以图9的像素数)，将满足颜色条件的像素数变换为面积。具体而言，面积变换部172在相对距离为0以上且小于40m时计算满足第二颜色条件的像素数，相对距离为40以上且小于60m时计算满足第三颜色条件的像素数，在相对距离为60以上且小于80m时计算满足第四颜色条件的像素数，在相对距离为80m以上时计算满足第五颜色条件的像素数。

然后，面积变换部172通过图9的反函数(除以图9的像素数)，将所计算的像素数变换为面积。这样，立体物的大小的变动变小，后述的灯判定部174通过比较变换得到的面积和亮灯判定阈值，从而能够高精度地判定亮灯状态的刹车灯。

灯判定部174在发光源候补的面积为预定的亮灯判定阈值以上的情况下，预判定为亮灯状态的刹车灯。然后，灯判定部174判定被预判定为亮灯状态的刹车灯的发光源候补的单个是否满足高度范围“0.3～2.0m”、水平距离的宽度范围“0.05～0.2m”、垂直距离的宽度范围“0.05～0.2m”的条件。并且，灯判定部174判定一对刹车灯的组合是否满足水平距离的差值“1.4～1.9m”、垂直距离的差值“0.3m以下”、面积比“50～200％”的条件。然后，灯判定部174将满足上述条件的一对发光源候补判定为亮灯状态的刹车灯。这样，根据仅在发光源候补对应于车辆的适当位置的情况下确定为刹车灯的构成，能够防止将后雾灯等同等亮度且仅一个灯亮灯的发光源候补误识别为刹车灯。

这样，灯判定部174在判定亮灯状态的刹车灯时，将该刹车灯和通过在上述的第一曝光形态下得到的第一图像确定的“车辆”关联。

以上，车外环境识别装置120排除发光源候补中的预定期间(相当于10帧的期间)的移动量为移动量阈值以上的发光源候补，对于未排除的发光源候补，判定是否为亮灯状态的刹车灯。由此，能够将在刹车灯罩和/或红色的车体有太阳光反射而红色的颜色值变高的发光源候补从判定亮灯状态的刹车灯时的候补排除，能够高精度地判定亮灯状态的刹车灯。另外，在例如10帧这样的短期间内，能够判定亮灯状态的刹车灯。

(车外环境识别处理的流程)

接下来，对中央控制部154所执行的包括上述的图像处理、车辆确定处理、发光源候补确定处理、发光源候补排除处理、灯判定处理的车外环境识别处理的流程进行说明。应予说明，车外环境识别处理在每次获取第一图像和第二图像时通过中断而执行。

图10是表示车外环境识别处理的流程的流程图。如图10所示，首先，图像处理部160从拍摄装置110获取在第一曝光形态下拍摄的第一图像和在第二曝光形态下拍摄的第二图像(S300)。然后，图像处理部160从获取的图像导出视差，位置信息导出部162基于导出的视差导出每个立体部位的三维的位置信息(S302)。接着，车辆确定部164从基于三维的位置信息而进行了群组化的立体物确定车辆、车辆区域，并且确定与前行车辆的相对位置(相对距离)(S304)。

然后，发光源候补确定部166将构成第二图像的像素的颜色值满足第五颜色条件的像素的群组确定为发光源候补(S306)。接着，发光源候补确定部166通过将已确定的发光源候补与前次帧中的发光源候补关联，从而追踪该发光源候补(S308)。

其后，移动量导出部168选择未判定的发光源候补中的一个(S310)，并判定所选择的发光源候补是否是跨越10个帧而确定的(S312)，如果选择的发光源候补不是跨越10个帧而确定的(S312中的NO)，则移至S322的处理。

另一方面，如果所选择的1个发光源候补是跨越10个帧而确定的(S312中的YES)，则移动量导出部168导出发光源候补的移动量(S314)。发光源候补排除部170判定导出的发光源候补的移动量是否为移动量阈值以上(S316)，如果发光源候补的移动量为移动量阈值以上(S316中的YES)，从下述的灯判定处理(S324～S332)的对象排除(S318)。另一方面，如果发光源候补的移动量没有在移动量阈值以上(S316中的NO)，则发光源候补排除部170将该发光源候补决定为下述的灯判定处理(S324～S332)的对象(灯判定对象)(S320)。

在执行了S318或S320之后，移动量导出部168判定是否具有未判定的发光源候补(S322)。如果具有未判定的发光源候补(S322中的YES)，则返回S310的处理。另一方面，如果没有未判定的发光源候补(S322中的NO)，则移至S324的处理。应予说明，移动量导出部168在S318中，即使在与从灯判定处理(S324～S332)的对象排除了的发光源候补对应的发光源候补在S306中被确定，也不执行S310～S322的处理，而从灯判定处理(S324～S332)的对象排除。

面积变换部172从在S318中没有被排除的，换句话说，灯判定对象的发光源候补中，选择一个未判定的发光源候补(S324)，面积变换部172计算满足与相对距离对应的颜色条件(第二颜色条件～第五颜色条件中的任一个)的像素数，基于与前行车辆的相对距离将像素数变换为面积(S326)。接着，灯判定部174通过比较所变换的面积和亮灯判定阈值，预判定是否为亮灯状态的刹车灯(S328)。

然后，灯判定部174判定灯判定对象的发光源候补中是否具有未判定的发光源候补(S330)，如果具有未判定的发光源候补(S330中的YES)，则返回S324的处理。另一方面，如果没有未判定的发光源候补(S330中的NO)，则灯判定部174在预判定为亮灯状态的刹车灯的发光源候补满足位置、大小等的条件的情况下，将该发光源候补判定为亮灯状态的刹车灯(S332)，结束车外环境识别处理。

以上，参照附图，对本发明的优选的实施方式进行了说明，但本发明并不限于上述实施方式。本领域技术人员在记载于权利要求的范围内能够想到各种的变更例或者修正例是显而易见的，这些当然也属于本发明的技术范围。

应予说明，在上述的实施方式中，对于发光源候补，计算满足与相对距离对应的颜色条件的像素数，基于与前行车辆的相对距离将像素数变换为面积，通过比较所变换的面积和亮灯判定阈值，来判定亮灯状态的灯。然而，并不限定于此，对于发光源候补，也可以通过比较满足预定的颜色条件的像素数或者像素面积和亮灯判定阈值，来判定亮灯状态的灯。

另外，在上述的实施方式中，对于预判定为亮灯状态的刹车灯的发光源候补，判定是否满足位置、大小等的条件，将满足条件的发光源候补判定为亮灯状态的刹车灯。然而，并不限定于此，也可以将预判定为亮灯状态的刹车灯的发光源候补直接判定为亮灯状态的刹车灯。

另外，在上述的实施方式中，判定亮灯状态的刹车灯，但并不限定于此，也可以判定处于亮灯状态的其他灯。

另外，在上述的实施方式中，作为中央控制部154，由包括中央处理装置(CPU)、ROM、RAM等的半导体集成电路构成。然而，并不限定于此，FPGA(Field Programmable GateArray：可现场编程门阵列)、ASIC(Application Specific Integrated Circuit：专用集成电路)等的集成电路构成。另外，可以通过一个或者多个中央处理装置、FPGA、ASIC构成。

另外，还提供使计算机作为车外环境识别装置120发挥功能的程序、记录该程序的利用计算机能够读取的软磁盘(flexible disc)、光磁盘、DRAM、SRAM、ROM、NVRAM、CD、DVD、BD等的存储介质。这里，程序是指利用任意的语言、记述方法记述的数据处理方法。

另外，本说明书的车外环境识别处理的各工序不需要一定按照流程图中记载的顺序，沿时间顺序进行处理，也可以包含通过并列或子流程进行处理。

产业上的可利用性

本发明能够用于确定前行车辆中的处于亮灯状态的刹车灯的车外环境识别装置。

Claims (2)

1.一种车外环境识别装置，其特征在于，

计算机作为以下部件起作用：

车辆确定部，对于利用拍摄装置连续拍摄的各个图像，确定前行车辆和该前行车辆所占有的车辆区域；

发光源候补确定部，针对已确定的所述车辆区域，将包含亮灯状态的灯的发光源的候补确定为发光源候补，并追踪该发光源候补；

移动量导出部，导出所述发光源候补的在预定期间的以所述车辆区域中的预定位置为基准的移动量；

发光源候补排除部，在利用所述发光源候补确定部确定了的所述发光源候补中，排除所述移动量为预定的移动量阈值以上的发光源候补；以及

灯判定部，对于利用所述发光源候补确定部确定了的所述发光源候补中的没有被所述发光源候补排除部排除的发光源候补，判定是否为亮灯状态的灯。

2.根据权利要求1所述的车外环境识别装置，其特征在于，

所述移动量导出部导出所述发光源候补的几何重心位置的移动量。