CN106295494A - 车外环境识别装置 - Google Patents

Abstract

在早期高精度地确定发光源。车外环境识别装置(120)具备：车辆确定部(164)，对于利用拍摄装置(110)拍摄的图像，确定前行车辆和该前行车辆占有的车辆区域；发光源候补确定部(166)，在以确定的车辆区域中，将发光源的候补确定为发光源候补；罩确定部(170)，在已确定的上述车辆区域中，确定覆盖发光源的罩；灯判定部(176)，基于已确定的发光源候补的像素数或者像素面积，以及与罩的像素数或者像素面积对应的亮灯判定阈值，来判定该发光源候补是否为亮灯状态的灯。

Description

车外环境识别装置

技术领域

本发明涉及确定前行车辆的处于亮灯状态的刹车灯的车外环境识别装置。

背景技术

以往，已知有如下进行控制(巡航控制)的技术：检测位于本车辆前方的前行车辆等立体物，避免与前行车辆碰撞(碰撞避免控制)，或将与前行车辆的车间距离保持在预定的距离(例如，专利文献1)。这里，如果设置有识别前行车辆的刹车灯(灯)是否亮灯(刹车操作状态)等，推测前行车辆的减速动作这样的处理，则能够进行更加平稳的巡航控制。

作为这样的检测前行车辆的刹车灯是否亮灯的技术，公开了将与从利用拍摄装置拍摄的图像确定的发光源大小相关的阈值，基于车外环境的亮度进行变更而判定刹车灯是否亮灯的技术(例如，专利文献2)。

现有技术文献

专利文献

专利文献1：日本专利第3349060号公报

专利文献2：日本特开2013-109391号公报

发明内容

技术问题

然而，例如若在前行车辆的刹车灯罩和/或后车窗等上有太阳光反射，则存在有太阳光反射的区域满足发光源的亮度的条件的情况。在这样的情况下，在上述的专利文献2的技术中，由于不改变与发光源的亮度有关的条件，所以会将有太阳光反射的区域确定为发光源，可能会将该发光源误判为亮灯状态的刹车灯。

另一方面，也考虑了在一定的时间持续检测已确定的前行车辆的发光源，基于检测的发光源的亮度变化，判定刹车灯是否亮灯。然而，在该方法中，在刚刚确定了前行车辆之后等信息还没被充分地积累的期间，难以进行刹车灯是否亮灯的判定。

本发明鉴于这样的课题，目的在于提供一种能够在早期高精度地确定亮灯状态的灯的车外环境识别装置。

技术方案

为了解决上述课题，本发明的车外环境识别装置是，计算机作为以下部件起作用：车辆确定部，对于利用拍摄装置拍摄的图像，确定前行车辆和该前行车辆所占有的车辆区域；发光源候补确定部，在已确定的车辆区域中，将发光源的候补确定为发光源候补；罩确定部，在已确定的上述车辆区域中，确定覆盖上述发光源的罩；以及灯判定部，基于已确定的上述发光源候补的像素数或者像素面积，以及与利用上述罩确定部确定的上述罩的像素数或者像素面积对应的亮灯判定阈值，来判定该发光源候补是否为亮灯状态的灯。

另外，优选地，上述计算机还作为以下部件起作用：罩面积变换部，计算已确定的上述罩的像素数，将计算出的像素数基于与前行车辆的相对距离变换成该罩的面积；以及发光源候补面积变换部，计算已确定的上述发光源候补的像素数，将计算出的像素数基于与前行车辆的相对距离变换成该发光源候补的面积，在上述发光源候补的面积为与上述罩的面积对应的亮灯判定阈值以上的情况下，上述灯判定部判定该发光源候补为亮灯状态的灯。

另外，优选地，上述发光源候补面积变换部和所述罩面积变换部计算满足预定的强度的颜色条件的像素数，上述发光源候补面积变换部计算像素数时所使用的颜色条件与上述罩面积变换部计算像素数时所使用的颜色条件相比具有更高的强度。

另外，优选地，上述亮灯判定阈值与上述罩的面积成比例地变大。

另外，优选地，上述计算机还作为判定利用所述拍摄装置拍摄的外部环境的环境判定部起作用，上述亮灯判定阈值基于利用上述环境判定部判定的外部环境，设定不同的值。

另外，优选地，上述环境判定部判定上述外部环境是晴天或者不是晴天，上述亮灯判定阈值在上述外部环境是晴天的情况下，比在该外部环境不是晴天的情况下设定得大。

发明效果

根据本发明，能够在早期高精度地确定发光源。

附图说明

图1是表示环境识别系统的连接关系的框图。

图2是表示车外环境识别装置的概要的功能的功能框图。

图3是用于说明彩色图像和距离图像的说明图。

图4是用于说明车辆确定部的处理的说明图。

图5是用于说明车辆确定部的处理的说明图。

图6是用于说明第一曝光形态的拍摄和第二曝光形态的拍摄的区别的说明图。

图7是表示颜色阈值的说明图。

图8是表示本车辆与前行车辆之间的相对距离和像素数的关系的说明图。

图9是表示相对于刹车灯罩的面积的亮灯判定阈值的说明图。

图10是表示车外环境识别处理的流程图。

符号说明

120：车外环境识别装置

164：车辆确定部

166：发光源候补确定部

168：发光源候补面积变换部

170：罩确定部

172：罩面积变换部

174：环境判定部

176：灯判定部

具体实施方式

以下，参照附图，对本发明的优选实施方式进行详细说明。上述实施方式所示的尺寸、材料、其他具体的数值等仅是为了使发明容易理解的例示，除了有特殊说明的情况下，并不限定本发明。应予说明，在本说明书和附图中，通过对实际上具有相同的功能、构成的元件标记相同的符号，从而省略重复说明，并且对于与本发明没有直接关系的元件省略图示。

近年来，通过搭载于车辆的车载照相机拍摄本车辆的前方的道路环境，基于拍摄的图像内的颜色信息和/或位置信息确定前行车辆等立体物，避免与已确定的立体物碰撞，或将与前行车辆的车间距离保持在预定的距离(ACC：Adaptive Cruise Control：自适应巡航控制)的搭载有所谓碰撞防止功能的车辆正在普及。

在上述ACC、碰撞防止功能中，例如以如下方式进行控制，即导出位于本车辆前方的立体物和与本车辆之间的相对距离，基于上述相对距离，避免与位于本车辆前方的立体物的碰撞，或在立体物为车辆(前行车辆)的情况下，将与该前行车辆的相对距离保持在预定的距离。另外，通过加入识别前行车辆的刹车灯是否亮灯等，并推测前行车辆的减速动作的处理，能够实现更加平稳的巡航控制。以下，说明用于实现这样的目的的环境识别系统，并详细记述作为其具体的构成元件的车外环境识别装置。

(环境识别系统100)

图1是表示环境识别系统100的连接关系的框图。环境识别系统100构成为包括在本车辆1内设置的拍摄装置110、车外环境识别装置120和车辆控制装置(ECU：EngineControl Unit，发动机控制单元)130。

拍摄装置110包括CCD(Charge-Coupled Device：电荷耦合器件)和/或CMOS(Complementary Metal-Oxide Semiconductor：互补金属氧化物半导体)等拍摄元件而构成，能够拍摄本车辆1的前方，生成由颜色值表示的彩色图像。这里，颜色值是一个亮度(Y)和两个色差(UV)构成的、或者由三个色相(R(红)、G(绿)、B(蓝))构成的数值组。

另外，拍摄装置110是在本车辆1的行进方向侧以两个拍摄装置110各自的光轴大致平行的方式，在大致水平方向上间隔地配置。拍摄装置110例如按每1/20秒的帧(20fps)连续而生成拍摄本车辆1前方的检测区域而得的图像数据。这里，从利用拍摄装置110生成的图像数据识别的确定物不仅可以是车辆、行人、信号灯、道路(行驶道路)、护栏、建筑物之类的独立存在的立体物，还可以包括刹车灯、高位制动灯、尾灯、方向指示灯、信号灯的各亮灯部分等能够确定为立体物的一部分的物体。以下的实施方式的各功能部以这样的图像数据的更新作为契机按每帧进行各处理。

并且，在本实施方式中，拍摄装置110在第一曝光形态下拍摄检测区域，生成第一图像，第一曝光形态示出与车外环境的亮度(照度计的计测结果等)对应的曝光时间、光圈。另外，拍摄装置110生成能够辨别刹车灯等确定的发光源是否正在自发光的第二图像。作为该方法，使用动态范围广的拍摄元件，可以以不发光的立体物不产生黑色溢出(黒つぶれ)，发光源不产生高光溢出(白飛び)的方式进行拍摄，也可以在曝光形态(曝光时间、光圈)与第一曝光形态不同的第二曝光形态下拍摄检测区域，生成第二图像。例如，如果为白天，则使第二曝光形态的曝光时间比与明亮的车外环境对应的第一曝光形态的曝光时间短，或者缩小光圈而生成第二图像。在本实施方式中，第一图像和第二图像分别作为彩色图像和距离图像而使用。另外，上述第一曝光形态和第二曝光形态通过如下方式实现。

例如，拍摄装置110通过按时间划分周期性的拍摄时刻，交替进行第一曝光形态的拍摄和第二曝光形态的拍摄，从而依次生成第一图像和第二图像。另外，拍摄装置110可以按像素设置有两个电容器，在能够并行地将电荷充电到这两个电容器的拍摄元件中，使利用一次曝光充电的时间不同而并行地生成曝光形态不同的两个图像。并且，拍摄装置110可以在一个电容器的电荷的充电中，使时间不同而读取两次图像，并行地生成曝光形态不同的两个图像。另外，拍摄装置110可以由使曝光形态不同的两组拍摄装置构成(这里，两个拍摄装置110×两组)，从两组拍摄装置110分别生成图像。控制曝光形态的曝光时间例如被适当地控制在1～60msec的范围内。

车外环境识别装置120从两个拍摄装置110分别获取图像数据，使用所谓图案匹配而导出视差(角度差)，将基于视差而导出的视差信息(相当于后述的三维的位置信息)对应于图像数据而生成距离图像。对彩色图像和距离图像如后进行详细描述。

另外，车外环境识别装置120使用基于彩色图像的颜色值和基于距离图像的包括与本车辆1的相对距离的实际空间中的三维的位置信息，将颜色值相等的三维位置信息相近的区块彼此群组化为立体物，确定本车辆1前方的检测区域中的立体物是否与任一确定物(例如，前行车辆)对应。例如，通过相对距离等确定前行车辆，并且，通过颜色值掌握该前行车辆的刹车灯的位置、是否亮灯。通过这样的处理，能够迅速掌握通过刹车灯的亮灯显示的该车辆的减速，并用于碰撞避免控制、ACC。

当将立体物确定为前行车辆时，车外环境识别装置120一边追踪其前行车辆，一边导出前行车辆的相对速度、与前行车辆的相对距离等，进行前行车辆和本车辆1发生碰撞的可能性是否高的判定。这里，在判定为碰撞的可能性高的情况下，车外环境识别装置120将该内容通过设置于驾驶员前方的显示器122而向驾驶员进行警告显示(报告)，并且向车辆控制装置130输出表示该内容的信息。

车辆控制装置130通过方向盘132、加速踏板134、制动踏板136而接收驾驶员的操作输入，并通过传递到转向机构142、驱动机构144、制动机构146而控制本车辆1。另外，车辆控制装置130根据车外环境识别装置120的指示，控制驱动机构144、制动机构146。

以下，对车外环境识别装置120的构成进行详细描述。这里对本实施方式中特征性的前行车辆的确定顺序和前行车辆中的亮灯状态的刹车灯的判定顺序进行详细说明，对与本实施方式的特征无关的构成省略说明。

(车外环境识别装置120)

图2是表示车外环境识别装置120的概要的功能的功能框图。如图2所示，车外环境识别装置120构成为包括I/F部150、存储部152和中央控制部154。

I/F部150是用于与拍摄装置110和/或车辆控制装置130进行双向信息交换的接口。存储部152由RAM、闪存、HDD等构成，保存在以下所示的各功能部的处理所需要的各种信息，另外，暂时保存从拍摄装置110接收的图像数据(基于第一图像和第二图像的彩色图像、距离图像)。

中央控制部154是包括中央处理装置(CPU)、存储有程序等的ROM、作为工作区域的RAM等的由半导体集成电路构成的计算机而成，通过系统总线156来控制I/F部150、存储部152等。另外，在本实施方式中，中央控制部154作为图像处理部160、位置信息导出部162、车辆确定部164、发光源候补确定部166、发光源候补面积变换部168、罩确定部170、罩面积变换部172、环境判定部174、灯判定部176发挥功能。以下，对这样的功能部，基于主要的目的，按照图像处理、车辆确定处理、发光源候补确定处理、面积变换处理、罩面积导出处理、灯判定处理这样的顺序来说明详细的动作。

(图像处理)

图像处理部160从两个拍摄装置110分别获取图像数据(第一图像和第二图像)，并利用所谓的图案匹配导出视差，图案匹配是指从一个第一图像检索与从另一个第一图像任意提取的区块(例如水平4个像素×垂直4个像素的排列)对应的区块。另外，图像处理部160针对第二图像也使用图案匹配而导出视差。这里，“水平”表示所拍摄的彩色图像的画面横向，“垂直”表示所拍摄的彩色图像的画面纵向。

作为该图案匹配，考虑在两个图像间，在表示任意的图像位置的区块单位中比较亮度(Y色差信号)。例如有获取亮度的差值的SAD(Sum of Absolute Difference：绝对误差和)、将差值平方而使用的SSD(Sum of Squaredintensity Difference：差值平方和)和/或获取从各像素的亮度减去平均值的分散值的类似度的NCC(Normalized CrossCorrelation：归一化互相关)等方法。图像处理部160对投射到检测区域(例如水平600个像素×垂直180个像素)的全部的区块进行这样的区块单位的视差导出处理。这里，虽然将区块设为水平4个像素×垂直4个像素，但可以任意地设定区块内的像素数。

但是，在图像处理部160中，虽然能够按每个作为检测分辨率单位的区块导出视差，但无法识别该区块是哪一个立体物的一部分。因此，基于视差导出的视差信息不是以立体物单位，而是以检测区域中的检测分辨率单位(例如区块单位)独立导出。

位置信息导出部162基于利用图像处理部160导出的检测区域214内的每个区块(每个立体部位)的视差，使用所谓立体法，导出包括水平距离、高度以及相对距离的三维的位置信息。这里，立体法是通过使用三角测量法，从立体部位的视差导出该立体部位相对于拍摄装置110的相对距离的方法。此时，位置信息导出部162基于与立体部位的相对距离和距离图像212上的从与立体部位处于相同相对距离的道路表面上的点到立体部位为止的距离，导出立体部位的从道路表面起算的高度。应予说明，将这样导出的视差信息(三维的位置信息)与图像数据关联而得到的图像与上述的彩色图像区别而称为距离图像。

图3是用于说明彩色图像210和距离图像212的说明图。例如，通过两个拍摄装置110，对检测区域214生成图3(a)那样的彩色图像(图像数据)210。但是，这里为了容易理解，仅示意性地示出两个彩色图像210中的一个。在本实施方式中，图像处理部160从这样的彩色图像210求得每个立体部位的视差，位置信息导出部162基于视差导出每个立体部位的三维的位置信息，形成图3(b)那样的距离图像212。在距离图像212中的各立体部位，关联该立体部位的视差信息。这里为了便于说明，由黑色的点表示导出了视差信息的立体部位。在本实施方式中，分别基于第一图像和第二图像生成这样的彩色图像210和距离图像212。因此，在本实施方式中，使用基于第一图像的彩色图像210、基于第一图像的距离图像212、基于第二图像的彩色图像210、基于第二图像的距离图像212。

(车辆确定处理)

图4和图5是用于说明车辆确定部164的处理的说明图。车辆确定部164首先将基于第一图像的距离图像212的检测区域214相对于水平方向分割成多个分割区域216。如此，分割区域216是图4(a)那样的长方格形状。这样的长方格形状的分割区域216原本例如水平宽度是4个像素，排列成150列，但这里为了便于说明，将检测区域214十六等分进行说明。

接着，车辆确定部164按每个分割区域216，基于位置信息，以位于道路表面的上方的全部的区块为对象，将划分为多个的预定距离各自所包含的相对距离进行积分而生成直方图(图4(b)中，以横向的长方形(bar)表示)。如此，得到图4(b)那样的距离分布218。这里，纵向表示进行了划分的预定距离(距离分区)，横向表示距离分区各自包含相对距离的区块个数(频数)。这里，图4(b)是进行计算基础上的虚拟画面，实际上不与视觉上的画面的生成相符。车辆确定部164参照这样导出的距离分布218，确定作为相当于峰值的相对距离的代表距离(图4(b)中，以用黑色填充的长方形表示)220。这里，相当于峰值是指在峰值或者峰附近满足任意的条件的值。

接下来，车辆确定部164比较邻接的分割区域216彼此，如图5所示，将代表距离220接近的(例如，位于1m以下)分割区域216群组化而生成一个或者多个分割区域组222。此时，即使在三个以上的分割区域216，代表距离220接近的情况下，也将连续的全部的分割区域216合成分割区域组222。通过上述群组化，车辆确定部164能够确定位于道路表面的上方的立体物。

接着，车辆确定部164以分割区域组222内的相对距离相当于代表距离220的区块为基点，将该区块与水平距离的差值、高度的差值以及相对距离的差值在预先决定的范围(例如0.1m)内的区块假设为对应于相同的确定物而群组化。如此，生成作为假设的区块组的立体物224。上述的范围以实际空间上的距离表示，可以通过制造商、乘客设定成任意的值。另外，车辆确定部164针对通过群组化新增加的区块，也以该区块为基点，使水平距离的差值、高度的差值以及相对距离的差值处于预定范围内的区块进一步群组化。其结果能够假设为相同的确定物的区块全部被群组化。

另外，这里，分别独立地判定水平距离的差值、高度的差值以及相对距离的差值，仅在全部包含于预定范围的情况下，作为相同的群组，但也可利用其他的计算而得到。例如，也可以在水平距离的差值、高度的差值以及相对距离的差值的均方根√((水平距离的差值)²+(高度的差值)²+(相对距离的差值)²)包含于预定范围的情况下，作为相同的群组。通过上述计算，能够导出区块彼此在实际空间上的正确的距离，因而能够提高群组化精度。

接下来，如果进行了群组化的立体物224满足相当于预先决定的车辆的预定的条件，则车辆确定部164将该立体物224决定为确定物“车辆”。例如，车辆确定部164在进行了群组化的立体物224位于道路上的情况下，判定该整个立体物224的大小是否相当于确定物“车辆”的大小，如果判定为相当于确定物“车辆”的大小，则将该立体物224确定为确定物“车辆”。另外，车辆确定部164将确定为确定物“车辆”的立体物224在画面上占有的矩形的区域确定为车辆区域。

这样，在车外环境识别装置120中，能够从作为第一图像的距离图像212，提取一个或者多个立体物224作为确定物、例如车辆(前行车辆)，并能够将该信息用于各种控制。例如，若检测区域214内的任意的立体物224被确定为车辆，则能够进行如下的控制，即追踪确定了的车辆(前行车辆)，检测相对距离、相对加速度，避免与前行车辆碰撞，将与前行车辆的车间距离保持在安全的距离。为了进一步迅速掌握这样的前行车辆的确定、前行车辆的举动，以下从位于车辆区域的发光源候补中判定亮灯状态的刹车灯。

(发光源候补确定处理)

然而，第二图像例如是在能够辨别确定的发光源(这里，为亮灯状态的刹车灯)的第二曝光形态下拍摄的图像。这里，如刹车灯那样进行自发光的物体能够获得高的颜色值，不限于太阳、街灯的亮度(外部环境)。特别是，刹车灯在亮灯时的亮度在法规上有大致的规定，因而通过仅在以预定的亮度曝光的曝光形态(例如，短时间的曝光)下进行拍摄，从而能够容易地仅提取相当于刹车灯的像素。

图6是用于说明第一曝光形态的拍摄和第二曝光形态的拍摄的差别的说明图。图6(a)表示基于在第一曝光形态下拍摄的第一图像的彩色图像210，特别是，在图6(a)的左图中尾灯亮灯，在图6(a)的右图中除了尾灯，刹车灯也亮灯。参照图6(a)可知，在基于车外环境的亮度的第一曝光形态中，在刹车灯为熄灭状态且尾灯为亮灯状态时的尾灯位置230的颜色值和刹车灯为亮灯状态且尾灯为亮灯状态时的刹车灯位置232之间几乎不产生颜色值的差。这是由于在曝光时间长的第一曝光形态中，尾灯和刹车灯的RGB成分全部的颜色值均已饱和。

图6(b)表示基于在第二曝光形态下拍摄的第二图像的彩色图像210，特别是，在图6(b)的左图中尾灯亮灯，在图6(b)的右图中除了尾灯，刹车灯也亮灯。第二曝光形态设定成仅能够获取刹车灯亮灯时的颜色值。因此，参照图6(b)可知，即使在尾灯为亮灯状态下在尾灯位置230，也几乎无法基于其亮度获取颜色值，在刹车灯为亮灯状态时的刹车灯位置232，能够明确地获取高的颜色值。

在上述第二曝光形态中，优选设定为相当于刹车灯的颜色值的R成分在拍摄元件中处于饱和与不饱和的边界的曝光时间。拍摄装置110由于通常动态范围比人窄小得多，所以若在傍晚这样的低亮度下利用第一曝光形态拍摄，则相对于车外环境刹车灯的颜色值相对高。这样，不仅R成分，与R成分重叠而G成分和/或B成分也饱和成为最大值(例如颜色值为255)，像素变白。因此，通过使第二曝光形态具有在刹车灯亮灯时R成分处于饱和与不饱和的边界的程度的曝光时间，从而能够与外部的环境无关地，抑制对G成分、B成分的颜色值的影响，同时以最大值提取R成分。这样，例如，能够最大限度确保与尾灯的颜色值差。

具体而言，在夜间行驶时存在前行车辆的情况下，若以使亮灯状态的刹车灯变为颜色范围(R)“200以上”的方式设定第二曝光状态，则亮灯状态的尾灯例如以颜色范围(R)“50”、颜色范围(G)“50”、颜色范围(B)“50”程度，显示于基于第二图像的彩色图像210。与此相对，亮灯状态的刹车灯例如以颜色范围(R)“200以上”，颜色范围(G)“50以下”，颜色范围(B)“50以下”显示于第二图像。这样，发光源候补确定部166通过基于第二图像的彩色图像210，能够确定亮灯状态的刹车灯。以下，从基于第二图像的彩色图像210，对将包含亮灯状态的刹车灯的发光源的候补确定为发光源候补的发光源候补确定处理进行说明。

图7是表示颜色阈值的说明图。在本实施方式中，例如，如图7所示，作为用于从基于第二图像的彩色图像210确定亮灯状态的刹车灯的颜色阈值，设置有“黄色(Y)”、“红色(R)”、“与红色比较稍暗的红色(WR1)”、“更暗的红色(WR2)”、“最暗的红色(WR3)”这五个等级。这里将第二曝光形态的标准的快门速度设为17msec。另外，在本实施方式中，不直接使用这样的多个颜色阈值，而采用基于多个颜色阈值的多个颜色条件。这里，作为多个颜色条件，设置有“黄色”(以下，简称为“第一颜色条件”)、“黄色”+“红色”(以下，简称为“第二颜色条件”)、“黄色”+“红色”+“与红色比较稍暗的红色”(以下，简称为“第三颜色条件”)、“黄色”+“红色”+“与红色比较稍暗的红色”+“更暗的红色”(以下，简称为“第四颜色条件”)、“黄色”+“红色”+“与红色比较稍暗的红色”+“更暗的红色”+“最暗的红色”(以下，简称为“第五颜色条件”)这五个等级。这样，将各条件设为各颜色阈值和比其强度(亮度)高的其他颜色阈值之和的理由是，适当地求出强度比预定的颜色阈值高的区域。

发光源候补确定部166从基于第二图像的彩色图像210，以像素单位获取三个色相(R、G、B)的颜色值。至少作为“最暗的红色”的颜色值的像素有可能是拍摄亮灯状态的刹车灯而得到的像素，所以发光源候补确定部166确定颜色值满足第五颜色条件的像素，即，“最暗的红色”的颜色值以上的像素。应予说明，检测区域214例如为雨天、阴天的情况下，发光源候补确定部166可以以能够获取本来的颜色值的方式调整白平衡而获取。

发光源候补确定部166在已确定的满足第五颜色条件的像素彼此的水平距离的差值、高度的差值以及相对距离的差值处于预定范围(例如0.1m)内的情况下，将其多个像素群组化为一个发光源候补。这样，即使构成刹车灯的像素跨越多个，另外，即使车辆的左右的刹车灯分别由多个灯构成的情况下，也能够将其作为存在于左右的刹车灯中的一个而单独识别。

另外，发光源候补确定部166将基于第一图像确定的车辆区域与确定的发光源候补根据基于各自的图像的距离图像212所示的视差信息而关联。

(面积变换处理)

然而，若本车辆1和前行车辆的相对距离长，则满足颜色条件的发光源候补变小，其像素数也少。与此相对，若与前行车辆的相对距离短，则满足颜色条件的发光源候补变大，其像素数变多。因此，即使刹车灯维持亮灯状态，基于与前行车辆的相对距离的变化，满足颜色条件的像素数也变动。例如，尽管刹车灯处于亮灯状态，因与前行车辆的位置关系而造成满足颜色条件的像素数不同时，即使原本刹车灯处于亮灯状态而存在满足颜色条件的像素，也会产生相对距离也过长，其个数达不到阈值的结果。因此，在本实施方式中，基于与前行车辆的相对距离将像素数变换为实际的面积。

图8是表示本车辆1与前行车辆之间的相对距离和像素数的关系的说明图。在图8中，横轴表示相对距离，纵轴表示预定大小的立体物占有的像素数。参照图8可以理解，即使是相同的立体物(相同的面积)，相对距离越长，像素数变得越小。上述变化可以通过函数近似，从相对距离0位置到图8中的相对距离a位置，像素数与距离成比例，a位置以后，像素数与相对距离的3/2次方成比例。通常，图像中的立体物的大小仅与其相对距离成比例，但为发光源的情况下，受到发光的影响而视觉上的发光范围变广。因此，如图8所示，相对距离和像素数的关系为非线性。

因此，发光源候补面积变换部168计算满足强度比第五颜色条件高的强度的颜色条件(第二颜色条件～第四颜色条件)的发光源候补的像素数，颜色条件是基于与前行车辆的相对距离而设定的，通过图8的反函数(除以图8的像素数)，将满足颜色条件的像素数变换成面积。具体而言，发光源候补面积变换部168在相对距离为0m以上且小于40m时计算满足第二颜色条件的发光源候补的像素数，在相对距离为40m以上且小于60m时计算满足第三颜色条件的发光源候补的像素数，在相对距离为60m以上时计算满足第四颜色条件的发光源候补的像素数。

而且，发光源候补面积变换部168通过图8的反函数(除以图8的像素数)，将所计算的像素数变换成面积。这样，立体物的大小的变动变小，后述的灯判定部176通过对变换得到的面积和亮灯判定阈值进行比较，从而能够高精度地判定亮灯状态的刹车灯。

(罩面积导出处理)

然而，例如在晴朗的白天，由于在覆盖刹车灯的刹车灯罩、后车窗上有太阳光反射，从而在第二图像中有太阳光反射的区域的颜色值变高，可能会误检测为发光源候补。特别是，在红色的刹车灯罩上有太阳光反射的情况下，红色的颜色值(R)变高，有可能变成与刹车灯亮灯的情况接近的颜色值。

这里，在刹车灯亮灯的情况和在刹车灯罩上有太阳光反射的場合中的任一情况下，随着刹车灯罩变大，发光源候补的面积都会变大。

另外，在白天但是阴天、下雨的情况和夜间的情况(以下，将它们统称为不是晴天)下，在刹车灯罩上没有太阳光反射，或反射的光量少。因此，在不是晴天的情况下，与白天且晴天的情况(以下简称为晴天)相比，在刹车灯亮灯的情况和有太阳光反射的情况中的任一情况下，发光源候补的面积都变小。

这样，根据日照条件(外部环境)和刹车灯罩的大小，在刹车灯亮灯的情况和有太阳光反射的情况的发光源候补的面积不同。由此，仅对利用发光源候补面积变换部168变换的发光源候补的面积和固定的亮灯判定阈值进行比较，难以高精度地确定发光源。

因此，作为颜色值至少是“最暗的红色”的的像素有可能是拍摄有太阳光反射的刹车灯罩而得到的像素，因而罩确定部170确定颜色值满足第五颜色条件的像素，即，“最暗的红色”的颜色值以上的像素。并且，罩确定部170在已确定的满足第五颜色条件的像素彼此的水平距离的差值、高度的差值以及相对距离的差值处于预定范围(例如0.1m)内的情况下，将该多个像素群组化为一个刹车灯罩候补。然后，罩确定部170判定刹车灯罩候补的单个是否满足高度范围“0.3～2.0m”、水平距离的宽度范围“0.05～0.2m”、垂直距离的宽度范围“0.05～0.2m”的条件。然后，罩确定部170判定一对刹车灯罩候补的组合是否满足水平距离的差值“1.4～1.9m”、垂直距离的差值“0.3m以下”、面积比“50～200％”的条件。并且，罩确定部170将满足上述条件的一对刹车灯罩候补确定为刹车灯罩。

罩面积变换部172将已确定的刹车灯罩的像素数变换为面积。具体而言，罩面积变换部172计算确定的刹车灯罩的像素数，通过图8的反函数(除以图8的像素数)，将计算的像素数变换成面积。

环境判定部174导出基于第一图像确定的整个车辆区域的亮度的平均值，在导出的平均值为预定的平均值阈值以上的情况下，判定外部环境为晴天，在导出的平均值小于预定的平均值阈值的情况下，判定外部环境不是晴天。

(灯判定处理)

图9是表示相对于刹车灯罩的面积的亮灯判定阈值的说明图。如图9所示，用于决定亮灯判定阈值的亮灯判定阈值曲线按照外部环境为晴天的情况和外部环境不是晴天的情况设置两条。以下，将外部环境为晴天的情况的亮灯判定阈值曲线称为晴天用亮灯判定阈值曲线，将外部环境不是晴天的情况的亮灯判定阈值曲线称为非晴天用亮灯判定阈值曲线。

亮灯判定阈值曲线(晴天用亮灯判定阈值曲线、非晴天用亮灯判定阈值曲线)设定成与外部环境无关而与刹车灯罩的面积的大小成比例地变大的值。另外，晴天用亮灯判定阈值曲线与非晴天用亮灯判定阈值曲线相比，在刹车灯罩的面积相同的情况下设定为较高的值。并且，这些亮灯判定阈值曲线作为与刹车灯罩的面积关联的亮灯判定阈值映射图而预先存储于ROM。

应予说明，晴天用亮灯判定阈值曲线如图9所示，通过预先实验而决定，以使在外部环境为晴天的情况下，能够对与亮灯状态的刹车灯对应的发光源候补的面积(图中，为亮灯状态(晴天))和与亮灯状态的刹车灯以外对应的发光源候补的面积(例如有太阳光反射的区域的面积，图中，为非亮灯状态(晴天))进行区别。同样地，非晴天用亮灯判定阈值曲线通过预先实验而决定，以使在外部环境为非晴天的情况下，对与亮灯状态的刹车灯对应的发光源候补的面积(图中，为亮灯状态(非晴天))和与亮灯状态的刹车灯以外对应的发光源候补的面积(图中，为非亮灯状态(非晴天))进行区别。

灯判定部176基于通过环境判定部174判定出的外部环境，决定采用晴天用亮灯判定阈值曲线还是非晴天用亮灯判定阈值曲线，基于决定的晴天用亮灯判定阈值曲线或者非晴天用亮灯判定阈值曲线，以及刹车灯罩的面积，参照亮灯判定阈值映射图，决定一个亮灯判定阈值。

而且，灯判定部176在发光源候补的面积为已决定的亮灯判定阈值以上的情况下，预判定为亮灯状态的刹车灯。然后，灯判定部176判定预判定为亮灯状态的刹车灯的发光源候补的单个是否满足高度范围“0.3～2.0m”、水平距离的宽度范围“0.05～0.2m”、垂直距离的宽度范围“0.05～0.2m”的条件。并且，灯判定部176判定一对刹车灯的组合是否满足水平距离的差值“1.4～1.9m”、垂直距离的差值“0.3m以下”、面积比“50～200％”的条件。然后，灯判定部176将满足上述条件的一对发光源候补判定为亮灯状态的刹车灯。这样，根据仅在发光源候补对应于车辆的适当位置的情况下确定为刹车灯的构成，能够防止将后雾灯等同等亮度且仅一个灯亮灯的发光源候补误识别为刹车灯。

这样，灯判定部176在判定亮灯状态的刹车灯时，将该刹车灯和通过在上述的第一曝光形态下得到的第一图像确定的“车辆”关联。

以上，在车外环境识别装置120中，基于刹车灯罩的面积，变更与发光源候补的面积比较的亮灯判定阈值，换句话说，随着刹车灯罩的面积的变大而将亮灯判定阈值设定得越大，通过上述设定，与和固定的亮灯判定阈值比较的情况相比，能够高精度地判定亮灯状态的刹车灯。

另外，在车外环境识别装置120中，通过基于车外环境，使用晴天用亮灯判定阈值曲线和非晴天用亮灯判定阈值曲线这样的不同的亮灯判定阈值，从而能够进一步高精度地判定亮灯状态的刹车灯。

并且，车外环境识别装置120不需要在确定前行车辆之后继续检测刹车灯的亮度变化，而是能够通过一次性的处理，在早期判定亮灯状态的灯。

(车外环境识别处理的流程)

接下来，对中央控制部154所执行的包括上述图像处理、车辆确定处理、发光源候补确定处理、面积变换处理、罩面积导出处理、灯判定处理的车外环境识别处理的流程进行说明。应予说明，车外环境识别处理在每次获取第一图像和第二图像时通过中断而执行。

图10是表示车外环境识别处理的流程的流程图。如图10所示，首先，图像处理部160从拍摄装置110获取在第一曝光形态下拍摄的第一图像和在第二曝光形态下拍摄的第二图像(S300)。然后，图像处理部160从获取的图像导出视差，位置信息导出部162基于导出的视差导出每个立体部位的三维的位置信息(S302)。接着，车辆确定部164从基于三维的位置信息而进行了群组化的立体物确定车辆、车辆区域，并且确定与前行车辆的相对位置(相对距离)(S304)。

然后，发光源候补确定部166将构成第二图像的像素的颜色值满足第四颜色条件的像素的群组确定为发光源候补(S306)。接着，罩确定部170通过将构成第二图像的像素的颜色值满足第五颜色条件的像素的群组确定为刹车灯罩候补，如果已确定的刹车灯罩候补满足位置、大小等的条件，确定为刹车灯罩(S308)。之后，罩面积变换部172计算刹车灯罩的像素数，基于与前行车辆的相对距离将像素数变换为面积(S310)。

接着，环境判定部174导出基于第一图像而确定的整个车辆区域的亮度的平均值，基于导出的平均值判定外部环境(S312)。之后，灯判定部176基于判定的外部环境，决定采用晴天用亮灯判定阈值曲线还是非晴天用亮灯判定阈值曲线(S314)。然后，灯判定部176基于决定的晴天用亮灯判定阈值曲线或者非晴天用亮灯判定阈值曲线，以及刹车灯罩的面积，来决定一个亮灯判定阈值(S316)。

之后，发光源候补面积变换部168选择一个未判定的发光源候补(S318)，计算满足与相对距离对应的颜色条件(第二颜色条件～第四颜色条件中任一个)的像素数，基于与前行车辆的相对距离将像素数变换成面积(S320)。接着，灯判定部176根据所变换的面积是否为亮灯判定阈值以上而预判定是否为亮灯状态的刹车灯(S322)。

其后，灯判定部176判定是否具有未判定的发光源候补(S324)，如果具有未判定的发光源(S324中的YES)，则返回S318的处理。另一方面，如果没有未判定的发光源(S324中的NO)，则灯判定部176在预判定为亮灯状态的刹车灯的发光源候补满足位置、大小等的条件的情况下，将该发光源候补判定为亮灯状态的刹车灯(S326)，结束车外环境识别处理。

以上，参照附图，对本发明的优选的实施方式进行了说明，但本发明并不限于上述实施方式。本领域技术人员在记载于权利要求的范围内能够想到各种的变更例或者修正例是显而易见的，这些当然也属于本发明的技术范围。

应予说明，在上述的实施方式中，灯判定部176通过对利用发光源候补面积变换部168变换的发光源候补的面积和亮灯判定阈值进行比较，来判定亮灯状态的灯。然而，并不限定于此，灯判定部176可以通过对发光源候补的像素数或者像素面积和亮灯判定阈值进行比较，来判定是否为亮灯状态的灯。换句话说，可以不将发光源候补的像素数或者像素面积变换成面积，而与亮灯判定阈值进行比较。应予说明，在该情况下，亮灯判定阈值为与刹车灯的像素数或者像素面积对应的值即可。

另外，在上述的实施方式中，发光源候补面积变换部168计算满足基于与前行车辆的相对距离设定的颜色条件的发光源候补的像素数，将计算的像素数变换成发光源候补的面积。然而，并不限定于此，发光源候补面积变换部168可以以不限于基于与前行车辆的相对距离设定的颜色条件的方式来计算通过发光源候补确定部166确定的发光源候补的像素数，并将计算出的像素数变换为发光源候补的面积。

另外，在上述的实施方式中，对于预判定为亮灯状态的刹车灯的发光源候补，判断是否满足位置、大小等的条件，将满足条件的发光源候补判定为亮灯状态的刹车灯。然而，并不限定于此，也可以将预判定为亮灯状态的刹车灯的发光源候补直接判定为亮灯状态的刹车灯。

另外，在上述的实施方式中，判定亮灯状态的刹车灯，但并限于此，可以判定处于亮灯状态的其他灯。

另外，在上述的实施方式中，作为中央控制部154，由包括中央处理装置(CPU)、ROM、RAM等的半导体集成电路构成。然而，并不限定于此，FPGA(Field Programmable GateArray：可现场编程门阵列)、ASIC(Application Specific Integrated Circuit：专用集成电路)等的集成电路构成。另外，可以通过一个或者多个中央处理装置、FPGA、ASIC构成。

另外，在上述的实施方式中，根据外部环境，决定采用晴天用亮灯判定阈值曲线还是非晴天用亮灯判定阈值曲线，基于决定的晴天用亮灯判定阈值曲线或者非晴天用亮灯判定阈值曲线，以及刹车灯罩的面积来决定一个亮灯判定阈值。然而，并不限定于此，可以与外部环境无关地，基于与刹车灯罩的面积成比例的变化的亮灯判定阈值和刹车灯罩的面积来决定一个亮灯判定阈值。

另外，还提供使计算机作为车外环境识别装置120发挥功能的程序、记录该程序的利用计算机能够读取的软磁盘(flexible disc)、光磁盘、DRAM、SRAM、ROM、NVRAM、CD、DVD、BD等的存储介质。这里，程序是指利用任意的语言、记述方法记述的数据处理方法。

另外，本说明书的车外环境识别处理的各工序不需要一定按照流程图中记载的顺序，沿时间顺序进行处理，也可以包含通过并列或子流程进行处理。

工业上的可利用性

本发明能够用于确定前行车辆中的处于亮灯状态的刹车灯的车外环境识别装置。

Claims (7)

1.一种车外环境识别装置，其特征在于，

计算机作为以下部件起作用：

车辆确定部，对于利用拍摄装置拍摄的图像，确定前行车辆和该前行车辆所占有的车辆区域；

发光源候补确定部，在已确定的所述车辆区域中，将发光源的候补确定为发光源候补；

罩确定部，在已确定的所述车辆区域中，确定覆盖所述发光源的罩；以及

灯判定部，基于已确定的所述发光源候补的像素数或者像素面积，以及与利用所述罩确定部确定的所述罩的像素数或者像素面积对应的亮灯判定阈值，来判定该发光源候补是否为亮灯状态的灯。

2.根据权利要求1所述的车外环境识别装置，其特征在于，

所述计算机还作为以下部件起作用：

罩面积变换部，计算已确定的所述罩的像素数，将计算出的像素数基于与前行车辆的相对距离变换成该罩的面积；以及

发光源候补面积变换部，计算已确定的所述发光源候补的像素数，将计算出的像素数基于与前行车辆的相对距离变换成该发光源候补的面积，

在所述发光源候补的面积为与所述罩的面积对应的亮灯判定阈值以上的情况下，所述灯判定部判定该发光源候补为亮灯状态的灯。

3.根据权利要求2所述的车外环境识别装置，其特征在于，

所述发光源候补面积变换部和所述罩面积变换部计算满足预定的强度的颜色条件的像素数，

所述发光源候补面积变换部计算像素数时所使用的颜色条件与所述罩面积变换部计算像素数时所使用的颜色条件相比具有更高的强度。

4.根据权利要求2所述的车外环境识别装置，其特征在于，

所述亮灯判定阈值与所述罩的面积成比例地变大。

5.根据权利要求3所述的车外环境识别装置，其特征在于，

所述亮灯判定阈值与所述罩的面积成比例地变大。

6.根据权利要求1～5中任一项所述的车外环境识别装置，其特征在于，

所述计算机还作为判定利用所述拍摄装置拍摄的外部环境的环境判定部起作用，

所述亮灯判定阈值基于利用所述环境判定部判定的外部环境，设定不同的值。

7.根据权利要求6所述的车外环境识别装置，其特征在于，

所述环境判定部判定所述外部环境是晴天或者不是晴天，

所述亮灯判定阈值在所述外部环境是晴天的情况下，比在该外部环境不是晴天的情况下设定得大。