CN107045619B - 车外环境识别装置 - Google Patents

车外环境识别装置 Download PDF

Info

Publication number
CN107045619B
CN107045619B CN201610831424.1A CN201610831424A CN107045619B CN 107045619 B CN107045619 B CN 107045619B CN 201610831424 A CN201610831424 A CN 201610831424A CN 107045619 B CN107045619 B CN 107045619B
Authority
CN
China
Prior art keywords
light emitting
blooming
emitting source
range
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610831424.1A
Other languages
English (en)
Other versions
CN107045619A (zh
Inventor
笠置诚佑
伊藤周
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Publication of CN107045619A publication Critical patent/CN107045619A/zh
Application granted granted Critical
Publication of CN107045619B publication Critical patent/CN107045619B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本发明的车外环境识别装置具有以下功能部：车辆确定部，确定前行车辆和车辆区域；发光源候补确定部，将车辆区域中的发光源的候补确定为发光源候补；高光溢出发光源确定部，将车辆区域中的满足预定的高光溢出条件的区域确定为高光溢出发光源；移动量导出部，导出高光溢出发光源的移动量；移动高光溢出发光源确定部，在高光溢出发光源的移动量为预定的移动量阈值以上的情况下，将高光溢出发光源确定为移动高光溢出发光源；高光溢出范围设定部，将相对于移动高光溢出发光源的预定的范围设定为高光溢出范围；以及灯判定部，对于位于该高光溢出范围以外的发光源候补和位于所述高光溢出范围内的发光源候补，基于不同的条件来判定是否是亮灯状态的灯。

Description

车外环境识别装置
技术领域
本发明涉及对前行车辆中处于亮灯状态的刹车灯进行确定的车外环境识别装置。
背景技术
以往，已知有检测位于本车辆前方的前行车辆等立体物，避免与前行车辆碰撞(碰撞避免功能)、或以将与前行车辆的车间距离保持在预定的距离的方式进行控制(ACC：Adaptive Cruise Control)的技术(例如，专利文献1)。这里，如果能够设置如识别前行车辆的刹车灯(灯)是否亮灯(亮灯或灭灯)等，并推测前行车辆的减速动作这样的处理，则能够进行更加平稳的碰撞避免功能或ACC控制。
作为这样的检测前行车辆的刹车灯是否亮灯的技术，公开了从利用拍摄装置拍摄的图像来确定满足预定的亮度条件的发光源候补，并根据车外环境的亮度，对与已确定的发光源候补的大小相关的阈值进行变更而判定刹车灯是否亮灯的技术(例如，专利文献2)。
现有技术文献
专利文献
专利文献1：日本专利第3349060号公报
专利文献2：日本特开2013-109391号公报
发明内容
技术问题
然而，例如若在前行车辆的刹车灯罩和/或后车窗等有太阳光反射，则在利用拍摄装置拍摄的图像中，有太阳光反射的区域的亮度变高。在这样的情况下，在上述的专利文献2的技术中，由于不根据车外环境来改变发光源候补的亮度条件，因此存在将有太阳光反射的区域确定为发光源候补，并将该发光源候补误判为亮灯状态的刹车灯的隐患。
另一方面，也考虑了基于检测出的发光源候补的亮度变化，判定刹车灯是否亮灯。然而，在刚刚确定了前行车辆之后等信息还没被充分地积累的情况下，难以在早期进行刹车灯是否亮灯的判定。
本发明鉴于这样的课题，目的在于提供一种能够在早期对处于亮灯状态的灯进行确定的车外环境识别装置。
技术方案
为了解决上述问题，本发明的车外环境识别装置的计算机作为以下功能部发挥功能：车辆确定部，基于每个由摄像装置连续拍摄的图像来确定前行车辆、以及该前行车辆所占的车辆区域；发光源候补确定部，将所确定的所述车辆区域中的发光源的候补确定为发光源候补；高光溢出发光源确定部，将所确定的所述车辆区域中的、满足预定的高光溢出条件的区域确定为高光溢出发光源；移动量导出部，导出所述高光溢出发光源相对于所述车辆区域在预定期间的移动量；移动高光溢出发光源确定部，在所述高光溢出发光源的所述移动量为预定的移动量阈值以上的情况下，将该高光溢出发光源确定为移动高光溢出发光源；高光溢出范围设定部，将相对于所述移动高光溢出发光源的预定的范围设定为高光溢出范围；以及灯判定部，基于不同的条件来判定所确定的所述发光源候补中的、位于所述高光溢出范围内的发光源候补和位于该高光溢出范围以外的发光源候补是否是亮灯状态的灯。
另外，所述灯判定部可以基于满足预定强度的颜色条件的像素数或像素面积来判定所确定的所述发光源候补中的位于所述高光溢出范围以外的发光源候补是否是亮灯状态的灯，并基于满足比所述颜色条件高的强度的颜色条件的像素数或像素面积来判定位于该高光溢出范围内的发光源候补是否是亮灯状态的灯。
另外，所述计算机还可以作为形状判定部发挥功能，所述形状判定部导出由所述高光溢出发光源确定部确定的所述高光溢出发光源的圆度，并提取所导出的圆度在预定的圆形阈值以上的高光溢出发光源，所述移动量导出部可以导出由所述形状判定部提取的高光溢出发光源的移动量。
另外，高光溢出范围设定部可以以所述移动高光溢出发光源为中心来设定沿垂直方向延长而成的所述高光溢出范围。
另外，所述计算机还可以作为面积转换部发挥功能，所述面积转换部针对所确定的所述发光源候补中的位于所述高光溢出范围以外的发光源候补，对满足所述预定强度的颜色条件的像素数进行计数，并基于与前行车辆的相对距离将该像素数转换为面积；针对位于该高光溢出范围内的发光源候补，对满足比该预定强度的颜色条件高的强度的颜色条件的像素数进行计数，并基于与所述前行车辆的相对距离将该像素数转换为面积，在转换而得的面积在被认为是所述前行车辆的灯处于亮灯状态的预定的亮灯判定阈值以上的情况下，所述灯判定部可以将该发光源候补判定为亮灯状态的灯。
发明效果
根据本发明，能够在早期确定处于亮灯状态的灯。
附图说明
图1是表示环境识别系统的连接关系的框图。
图2是表示车外环境识别装置的概要的功能的功能框图。
图3是用于说明彩色图像和距离图像的说明图。
图4是用于说明车辆确定部的处理的说明图。
图5是用于说明车辆确定部的处理的说明图。
图6是用于说明第一曝光形态的拍摄和第二曝光形态的拍摄的区别的说明图。
图7是表示颜色阈值的说明图。
图8是说明基于前行车辆的反射位置的高光溢出发光源的形状的图。
图9是说明高光溢出范围的图。
图10是示出由太阳光反射区域产生的发光源候补出现的比率的图。
图11是示出与存在于高光溢出范围以及非高光溢出范围的发光源候补对应的颜色条件以及亮灯判定阈值的图。
图12是本车辆与前行车辆之间的相对距离和像素数的关系的说明图。
图13是说明统计性的亮灯判定阈值的直方图。
图14是示出车外环境识别处理的流程的流程图。
图15是示出刹车灯判定处理的流程的流程图。
符号说明
120 车外环境识别装置
164 车辆确定部
166 发光源候补确定部
168 高光溢出发光源确定部
170 形状判定部
172 移动量导出部
174 移动高光溢出发光源确定部
176 高光溢出范围设定部
178 面积转换部
180 灯判定部
具体实施方式
以下，参照附图，对本发明的优选实施方式进行详细说明。上述实施方式所示的尺寸、材料、其他具体的数值等仅是为了使发明容易理解的例示，除了有特殊说明的情况下，并不限定本发明。应予说明，在本说明书和附图中，通过对实际上具有相同的功能、构成的元件标记相同的符号，从而省略重复说明，并且对于与本发明没有直接关系的元件省略图示。
近年来，搭载有以下技术的车辆正在普及：通过搭载于车辆的车载照相机拍摄本车辆的前方的道路环境，基于所拍摄的图像内的颜色信息和/或位置信息确定前行车辆等立体物，避免与所确定的立体物碰撞的碰撞防止功能，和/或将与前行车辆的车间距离保持在预定的距离的自适应巡航控制(ACC：Adaptive Cruise Control)。
在上述碰撞防止功能或ACC中，导出位于本车辆前方的立体物和与本车辆之间的相对距离，基于上述相对距离，避免与位于本车辆前方的立体物的碰撞，或在立体物为车辆(前行车辆)的情况下，以将与该前行车辆的相对距离保持在预定的距离的方式进行控制。另外，通过加入识别前行车辆的刹车灯的亮灯状态(亮灯或者灭灯)等，并推测前行车辆的减速动作的处理，能够实现更加平稳的碰撞防止功能或ACC。以下，说明用于实现这样的目的的环境识别系统，并详细记述作为其具体的构成元件的车外环境识别装置。
(环境识别系统100)
图1是表示环境识别系统100的连接关系的框图。环境识别系统100构成为包括在本车辆1内设置的拍摄装置110、车外环境识别装置120和车辆控制装置(ECU：EngineControl Unit，发动机控制单元)130。
拍摄装置110包括CCD(Charge-Coupled Device：电荷耦合器件)和/或CMOS(Complementary Metal-Oxide Semiconductor：互补金属氧化物半导体)等拍摄元件而构成，拍摄本车辆1的前方，生成由颜色值表示的彩色图像。这里，颜色值是一个亮度(Y)和两个色差(UV)构成的数值组、或者由三个色相(R(红)、G(绿)、B(蓝))构成的数值组。
另外，拍摄装置110是在本车辆1的行进方向侧以两个拍摄装置110各自的光轴大致平行的方式，在大致水平方向上间隔地配置。拍摄装置110例如按每1/20秒(20fps)连续而生成拍摄本车辆1前方的检测区域而得的图像数据。这里，根据利用拍摄装置110生成的图像数据识别的确定物不仅可以是车辆、行人、信号灯、道路(行驶道路)、护栏、建筑物之类的独立存在的立体物，还可以包括刹车灯、高位制动灯、尾灯、方向指示灯、信号灯的各亮灯部分等能够确定为立体物的一部分的物体。以下的实施方式的各功能部以这样的图像数据的更新作为契机按每帧进行各处理。
并且，在本实施方式中，拍摄装置110在第一曝光形态下拍摄检测区域，生成第一图像，第一曝光形态示出与车外环境的亮度(照度计的计测结果等)对应的曝光时间、光圈。另外，拍摄装置110生成能够辨别刹车灯等确定的发光源是否正在自发光的第二图像。作为该方法，使用动态范围大的拍摄元件，可以以不发光的立体物不产生黑色溢出(黒つぶれ)，发光源不产生高光溢出(白飛び)的方式进行拍摄，也可以在曝光形态(曝光时间、光圈)与第一曝光形态不同的第二曝光形态下拍摄检测区域，生成第二图像。例如，如果为白天，则使第二曝光形态的曝光时间比与明亮的车外环境对应的第一曝光形态的曝光时间短，或者缩小光圈而生成第二图像。在本实施方式中，第一图像和第二图像分别作为彩色图像使用。另外，上述第一曝光形态和第二曝光形态通过如下方式实现。
例如，拍摄装置110通过按时间划分周期性的拍摄时刻，交替进行第一曝光形态的拍摄和第二曝光形态的拍摄，从而依次生成第一图像和第二图像。在此，拍摄装置110可以按像素设置有两个电容器，在能够并行地将电荷充电到这两个电容器的拍摄元件中，使利用一次曝光充电的时间不同而并行地生成曝光形态不同的两个图像。另外，拍摄装置110可以在一个电容器的电荷的充电中，使时间不同而读取两次图像，并行地生成曝光形态不同的两个图像。另外，拍摄装置110可以由使曝光形态不同的两组拍摄装置构成(这里，两个拍摄装置110×两组)，从两组拍摄装置110分别生成图像。控制曝光形态的曝光时间例如被适当地控制在1～60msec的范围内。
车外环境识别装置120从两个拍摄装置110分别获取图像数据，使用所谓图案匹配而导出视差(角度差)，将基于视差而导出的视差信息(相当于后述的三维的位置信息)与图像数据进行关联而生成距离图像。对彩色图像和距离图像如后进行详细描述。
另外，车外环境识别装置120使用基于彩色图像的颜色值和基于距离图像的包括与本车辆1的相对距离在内的实际空间中的三维的位置信息，将颜色值相等且三维位置信息相近的区块彼此群组化为立体物，确定本车辆1前方的检测区域中的立体物是否与任一确定物(例如，前行车辆)对应。例如，通过相对距离等确定前行车辆，并且，通过颜色值判定该前行车辆的刹车灯的位置、亮灯状态。通过这样的处理，能够迅速掌握由刹车灯的亮灯显示的该车辆的减速，并用于碰撞避免控制和ACC。
当将立体物确定为前行车辆时，车外环境识别装置120一边追踪该前行车辆，一边导出前行车辆的相对速度、与前行车辆的相对距离等，进行前行车辆和本车辆1发生碰撞的可能性是否高的判定。这里，在判定为碰撞的可能性高的情况下，车外环境识别装置120将该内容通过设置于驾驶员前方的显示器122而向驾驶员进行警告显示(报告)，并且向车辆控制装置130输出表示该内容的信息。
车辆控制装置130通过方向盘132、加速踏板134、制动踏板136接收驾驶员的操作输入，并通过传递到转向机构142、驱动机构144、制动机构146控制本车辆1。另外，车辆控制装置130根据车外环境识别装置120的指示，控制转向机构142、驱动机构144、制动机构146。
以下，对车外环境识别装置120的构成进行详细描述。这里对本实施方式中特征性的构成进行详细说明，对与本实施方式的特征无关的构成省略说明。
(车外环境识别装置120)
图2是表示车外环境识别装置120的概要的功能的功能框图。如图2所示，车外环境识别装置120构成为包括I/F部150、存储部152和中央控制部154。
I/F部150是用于与拍摄装置110和/或车辆控制装置130进行双向信息交换的接口。存储部152由RAM、闪存、HDD等构成，保存在以下所示的各功能部的处理所需要的各种信息，另外，暂时保存从拍摄装置110接收的图像数据(基于第一图像和第二图像的彩色图像、距离图像)。
中央控制部154由计算机构成，该计算机由包括中央处理装置(CPU)、存储有程序等的ROM、作为工作区域的RAM等在内的半导体集成电路构成，通过系统总线156来控制I/F部150、存储部152等。另外，在本实施方式中，中央控制部154作为图像处理部160、位置信息导出部162、车辆确定部164、发光源候补确定部166、高光溢出发光源确定部168、形状判定部170、移动量导出部172、移动高光溢出发光源确定部174、高光溢出范围设定部176、面积转换部178、灯判定部180发挥功能。以下，对这样的功能部，基于主要的目的，按照图像处理、车辆确定处理、发光源候补确定处理、高光溢出范围设定处理、灯判定处理这样的顺序来说明详细的动作。
(图像处理)
图像处理部160从两个拍摄装置110分别获取彩色图像的图像数据(第一图像和第二图像)，并利用所谓的图案匹配导出视差，图案匹配是指从一个第一图像检索与从另一个第一图像任意提取的区块(例如水平4个像素×垂直4个像素的排列)对应的区块。另外，图像处理部160针对第二图像也使用图案匹配而导出视差。这里，“水平”表示所拍摄的彩色图像的画面横向，“垂直”表示所拍摄的彩色图像的画面纵向。
作为该图案匹配，考虑在两个图像间，在表示任意的图像位置的区块单位中比较亮度(Y色差信号)。例如有获取亮度的差值的SAD(Sum of Absolute Difference：绝对误差和)、将差值平方而使用的SSD(Sum of Squaredintensity Difference：差值平方和)和/或获取从各像素的亮度减去平均值的分散值的类似度的NCC(Normalized CrossCorrelation：归一化互相关)等方法。图像处理部160对投射到检测区域(例如，水平600个像素×垂直180个像素)的全部的区块进行这样的区块单位的视差导出处理。这里，虽然将区块设为水平4个像素×垂直4个像素，但可以任意地设定区块内的像素数。
但是，在图像处理部160中，虽然能够按每个作为检测分辨率单位的区块导出视差，但无法识别该区块是哪一个立体物的一部分。因此，基于视差导出的视差信息不是以立体物单位独立导出，而是以检测区域中的检测分辨率单位(例如区块单位)独立导出。
位置信息导出部162基于由图像处理部160导出的检测区域内的每个区块(每个立体部位)的视差，使用所谓立体法，导出包括水平距离、高度以及相对距离在内的三维的位置信息。这里，立体法是通过使用三角测量法，从立体部位的视差导出该立体部位相对于拍摄装置110的相对距离的方法。此时，位置信息导出部162基于与立体部位的相对距离和距离图像上的从与立体部位处于相同相对距离的道路表面上的点到立体部位为止的距离，导出立体部位的从道路表面起算的高度。应予说明，将由这样导出的视差信息(三维的位置信息)与图像数据关联而得到的图像与上述的彩色图像进行区别而称为距离图像。
图3是用于说明彩色图像210和距离图像212的说明图。例如，通过两个拍摄装置110，对于检测区域214，生成图3(a)那样的彩色图像(图像数据)210。但是，这里为了容易理解，仅示意性地示出两个彩色图像210中的一个。在本实施方式中，图像处理部160从这样的彩色图像210求得每个立体部位的视差，位置信息导出部162基于视差导出每个立体部位的三维的位置信息，形成图3(b)那样的距离图像212。在距离图像212中的各立体部位，关联有该立体部位的视差信息。这里，为了便于说明，由黑色的点表示导出了视差信息的立体部位。在本实施方式中，分别基于第一图像和第二图像生成这样的彩色图像210和距离图像212。因此，在本实施方式中，使用基于第一图像的彩色图像210、基于第一图像的距离图像212、基于第二图像的彩色图像210、基于第二图像的距离图像212。
(车辆确定处理)
图4和图5是用于说明车辆确定部164的处理的说明图。车辆确定部164首先将基于第一图像的距离图像212的检测区域214沿水平方向分割成多个分割区域216。如此，分割区域216是图4(a)那样的长方格形状。这样的长方格形状的分割区域216原本是使例如水平宽度4个像素为一列排列成150列，但这里为了便于说明，将检测区域214十六等分进行说明。
接着，车辆确定部164按照分割区域216，基于位置信息，以位于道路表面的上方的全部的区块为对象，将划分为多个的预定距离各自所包含的相对距离进行积分而生成直方图(图4(b)中，以横向长的长方形(bar)表示)。如此，得到图4(b)那样的距离分布218。这里，纵向表示进行了划分的预定距离(距离分区)，横向表示在距离分区中各自包含相对距离的区块个数(频数)。这里，图4(b)是在进行计算时的虚拟画面，实际上与视觉上的画面的生成不相符。车辆确定部164参照这样导出的距离分布218，确定作为相当于峰值的相对距离的代表距离(图4(b)中，以用黑色填充的长方形表示)220。这里，相当于峰值是指在峰值或者峰附近满足任意的条件的值。
接下来，车辆确定部164对邻接的分割区域216彼此之间比较，如图5所示，将代表距离220接近的(例如，位于1m以下)分割区域216群组化而生成一个或者多个分割区域组222。此时，即使在三个以上的分割区域216中代表距离220接近的情况下，也将连续的全部的分割区域216合成分割区域组222。通过上述群组化，车辆确定部164能够确定位于道路表面的上方的立体物。
接着，车辆确定部164以分割区域组222内的相对距离与代表距离220相当的区块为基点，将该区块与水平距离的差值、高度的差值以及相对距离的差值在预先决定的范围(例如0.1m)内的区块假设为对应于相同的确定物而群组化。如此，生成假设的作为区块组的立体物224。上述的范围以实际空间上的距离表示，可以通过制造商、乘客设定成任意的值。另外，对于通过群组化新增加的区块，车辆确定部164也以该区块为基点，使水平距离的差值、高度的差值以及相对距离的差值处于预定范围内的区块进一步群组化。其结果能够假设为相同的确定物的区块全部被群组化。
另外，这里，分别独立地判定水平距离的差值、高度的差值以及相对距离的差值，仅在均包含在预定范围的情况下，作为相同的群组，但也可利用其他的计算来进行。例如，也可以在水平距离的差值、高度的差值以及相对距离的差值的均方根包含于预定范围的情况下，作为相同的群组。通过上述计算，能够导出区块彼此之间在实际空间上的正确的距离，因而能够提高群组化精度。
接下来，如果进行了群组化的立体物224满足相当于预先决定的车辆的预定的条件，则车辆确定部164将该立体物224决定为确定物“车辆”。例如，车辆确定部164在进行了群组化的立体物224位于道路上的情况下，判定该整个立体物224的大小是否相当于确定物“车辆”的大小，如果判定为相当于确定物“车辆”的大小，则将该立体物224确定为确定物“车辆”。另外，车辆确定部164将确定为确定物“车辆”的立体物224在画面上占有的矩形的区域确定为车辆区域。
这样，在车外环境识别装置120中，能够从作为第一图像的距离图像212，提取一个或者多个立体物224作为确定物，例如车辆(前行车辆)，并能够将该信息用于各种控制。例如，若检测区域214内的任意的立体物224被确定为车辆，则能够进行如下的控制，即追踪已确定的车辆(前行车辆)，检测相对距离、相对加速度来避免与前行车辆碰撞，或将与前行车辆的车间距离保持在安全的距离。为了进一步迅速掌握这样的前行车辆的确定、前行车辆的动作，以下从位于车辆区域的发光源候补中判定亮灯状态的刹车灯。
(发光源候补确定处理)
然而，第二图像例如是在能够辨别确定的发光源(这里，为亮灯状态的刹车灯)的第二曝光形态下拍摄的图像。这里，如刹车灯那样进行自发光的物体能够获得高的颜色值，不限于太阳、街灯的亮度。特别是，刹车灯在亮灯时的亮度在法规上有大致的规定，因而通过仅在以预定的亮度曝光的曝光形态(例如，短时间的曝光)下进行拍摄，从而能够容易地仅提取相当于刹车灯的像素。
图6是用于说明在第一曝光形态下拍摄和在第二曝光形态下拍摄的差别的说明图。图6(a)表示基于在第一曝光形态下拍摄的第一图像的彩色图像210，特别是，在图6(a)的左图中尾灯处于亮灯状态，在图6(a)的右图中除了尾灯，刹车灯也处于亮灯状态。参照图6(a)可知，在基于车外环境的亮度的第一曝光形态中，在刹车灯为熄灭状态且尾灯为亮灯状态时的尾灯位置230的颜色值和刹车灯为亮灯状态且尾灯为亮灯状态时的刹车灯位置232之间几乎不产生颜色值的差。这是由于在曝光时间长的第一曝光形态中，尾灯和刹车灯的RGB成分全部的颜色值均已饱和。
图6(b)表示基于在第二曝光形态下拍摄的第二图像的彩色图像210，特别是，在图6(b)的左图中尾灯处于亮灯状态，在图6(b)的右图中除了尾灯，刹车灯也处于亮灯状态。第二曝光形态设定成仅能够获取刹车灯处于亮灯状态时的颜色值。因此，参照图6(b)可知，即使在尾灯为亮灯状态下，在尾灯位置230也几乎无法获取基于其亮度的颜色值，在刹车灯为亮灯状态时的刹车灯位置232，能够明确地获取高的颜色值。
在上述第二曝光形态中，优选设定为刹车灯的颜色值的R成分在拍摄元件中处于饱和与不饱和的边界的程度的曝光时间。拍摄装置110由于通常动态范围比人窄小得多，所以若在傍晚这样的低亮度下利用第一曝光形态拍摄，则相对于车外环境刹车灯的颜色值相对高。这样，不仅R成分，与R成分重叠而G成分和/或B成分也饱和成为最大值(例如颜色值为255)，像素变白。因此，通过使第二曝光形态具有在刹车灯处于亮灯状态时R成分处于饱和与不饱和的边界的程度的曝光时间，从而不管外部的环境如何都能够抑制对G成分、B成分的颜色值的影响，同时以最大值仅提取R成分。这样，例如，能够最大限度确保与尾灯的颜色值差。
具体而言，在夜间行驶时存在前行车辆的情况下，若以使亮灯状态的刹车灯变为颜色范围(R)“200以上”的方式设定第二曝光状态，则亮灯状态的尾灯例如以颜色范围(R)“50”、颜色范围(G)“50”、颜色范围(B)“50”程度，显示于基于第二图像的彩色图像210。与此相对，亮灯状态的刹车灯例如以颜色范围(R)“200以上”，颜色范围(G)“50以下”，颜色范围(B)“50以下”显示于第二图像。这样，发光源候补确定部166通过基于第二图像的彩色图像210，能够确定亮灯状态的刹车灯。以下，从基于第二图像的彩色图像210，对将包含亮灯状态的刹车灯的发光源的候补确定为发光源候补的发光源候补确定处理进行说明。
图7是表示颜色阈值的说明图。在本实施方式中，例如，如图7所示，作为用于从基于第二图像的彩色图像210确定亮灯状态的刹车灯的颜色阈值，设定有“黄色(Y)”“红色(R)”“与红色比较稍暗的红色(WR1)”“更暗的红色(WR2)”“最暗的红色(WR3)”这五个等级，并且为了确定如后面详细叙述的产生了高光溢出的发光源，作为高光溢出阈值而设定有颜色阈值“高光溢出”。这里将第二曝光形态的标准的快门速度设为17msec。另外，在本实施方式中，不直接使用这样的多个颜色阈值，而采用基于多个颜色阈值的多个颜色条件。这里，作为多个颜色条件，设置有“黄色”(以下，简称为“第一颜色条件”)、“黄色”+“红色”(以下，简称为“第二颜色条件”)、“黄色”+“红色”+“与红色比较稍暗的红色”(以下，简称为“第三颜色条件”)、“黄色”+“红色”+“与红色比较稍暗的红色”+“更暗的红色”(以下，简称为“第四颜色条件”)、“黄色”+“红色”+“与红色比较稍暗的红色”+“更暗的红色”+“最暗的红色”(以下，简称为“第五颜色条件”)这五个等级。这样，将各条件设为各颜色阈值和比其强度(亮度)高的其他颜色阈值之和的理由是为了适当地求出强度比预定的颜色阈值高的区域。
发光源候补确定部166从基于第二图像的彩色图像210的与车辆区域对应的区域，以像素单位获取三个色相(R、G、B)的颜色值。并且，至少作为“最暗的红色”的颜色值的像素有可能是拍摄亮灯状态的刹车灯而得到的像素，所以发光源候补确定部166确定颜色值满足第五颜色条件的像素，即，“最暗的红色”的颜色值以上的像素。应予说明，检测区域214为例如雨天、阴天的情况下，发光源候补确定部166可以以能够获取本来的颜色值的方式调整白平衡而获取。
发光源候补确定部166在已确定的满足第五颜色条件的像素彼此的水平距离的差值、高度的差值以及相对距离的差值处于预定范围(例如0.1m)内的情况下，将其多个像素群组化为一个发光源候补。这样，即使构成刹车灯的像素跨越多个，另外，即使车辆的左右的刹车灯分别由多个灯构成的情况下，也能够将其作为存在于左右的刹车灯中的一个而分别识别。
(高光溢出范围设定处理)
这里，根据日照条件等外部环境，在车身、号码牌、刹车灯罩、后车窗等有太阳光、路灯光等反射，在第二图像中，有反射光反射的区域的颜色值变高。因此，仅将已确定的发光源候补的颜色值与固定的阈值简单地进行比较，有太阳光反射的区域可能被误判定为处于亮灯状态的刹车灯。例如，虽然刹车灯没有亮灯，但是有太阳光反射的区域的颜色值高于固定的阈值，导致有可能误判定为刹车灯正处于亮灯状态。
特别地，在太阳光在前行车辆反射的外部环境中，在第二图像中的有太阳光反射的区域的颜色值变高。因此，在本实施方式中，设定被认为是有太阳光反射的高光溢出范围(太阳光反射而产生了高光溢出的高光溢出区域，以及其附近的区域)，并且将已设定的高光溢出范围的阈值设定得比被认为是没有太阳光反射的非高光溢出范围的阈值高，使得亮灯状态的刹车灯的检测精度提高。需要说明的是，高光溢出是表示在第二图像中，饱和而成为白色或与白色相近的颜色的像素(像素组)。
具体地，高光溢出发光源确定部168对于车辆区域内的像素提取颜色值满足高光溢出颜色阈值(参考图7)以上的像素(满足高光溢出条件的像素)，在提取出的像素之间的水平距离的差值、高度的差值以及相对距离的差值在预定范围(例如0.1m)内的情况下，对该多个像素进行群组化。然后，高光溢出发光源确定部168将进行了群组化的像素群确定为高光溢出发光源。需要说明的是，高光溢出颜色阈值被设定为在第二图像中被认为是饱和的颜色值。即，高光溢出发光源是由于太阳光而在第二图像中饱和的像素组(区域)的可能性高。需要说明的是，高光溢出发光源确定部168也可以将已确定的发光源候补中的具有高光溢出颜色阈值以上的像素的发光源候补确定为高光溢出发光源。
图8是说明基于前行车辆的反射位置的高光溢出发光源的形状的图。这里，如图8所示，在车辆区域240内，由于后车窗为曲面，因此太阳光在后车窗反射而成的高光溢出发光源242成为大致圆形。另一方面，由于车身和号码牌是在宽度方向上接近平面的复杂的形状，因此太阳光在车身反射而成的高光溢出发光源244和太阳光在号码牌反射而成的高光溢出发光源246大多由太阳光漫反射而在水平方向上成为长条状。
因此，太阳光在车身反射而成的高光溢出发光源244和太阳光在号码牌反射而成的高光溢出发光源246由于受到车身和号码牌的复杂形状的影响，从而在车辆区域240中难以确定被认为是太阳光反射的高光溢出范围。
因此，形状判定部170导出由高光溢出发光源确定部168确定了的高光溢出发光源的圆度，仅提取所导出的圆度为被认为是由后车窗反射的圆形阈值以上的高光溢出发光源。这里，圆度根据(高光溢出发光源的面积×4π)/(包围高光溢出发光源的轮廓线的长度)2导出。另外，圆形阈值设定为0.7(70％)。如此，基于高光溢出发光源的形状来将接近圆形的圆形高光溢出发光源确定为由太阳光的反射而产生高光溢出的发光源。
另外，在第二图像中，亮灯状态的刹车灯相对于车辆区域240始终处于相同的位置关系，而由太阳光的反射而颜色值变高的区域根据太阳与前行车辆以及本车辆1之间的位置关系而变化。
因此，在确定了圆形高光溢出发光源的情况下，移动量导出部172追踪圆形高光溢出发光源而导出圆形高光溢出发光源的移动量。具体地，移动量导出部172针对本次所获取的第二图像中的各个圆形高光溢出发光源分别导出该圆形高光溢出发光源的中心坐标(iKc、jKc)与前次或者再前次所获取的第二图像中的一个或者多个圆形高光溢出发光源的中心坐标(iTc、jTc)的水平方向以及垂直方向的坐标差(di、dj)。需要说明的是，在此，对于再前次所获取的第二图像中的圆形高光溢出发光源仅用于没有与前次所获取的第二图像中的圆形高光溢出发光源进行关联的(未进行追踪)的圆形高光溢出发光源。这是因为，若再前次所获取的第二图像中的圆形高光溢出发光源与前次所获取的第二图像中的圆形高光溢出发光源具有对应关系，则能够使用前次所获取的第二图像中的圆形高光溢出发光源来追踪。另外，中心坐标(iKc、jKc)、中心坐标(iTc、jTc)是第二图像中的，从预定的原点位置起算的水平方向以及垂直方向的像素位置。
移动量导出部172将水平方向和垂直方向的坐标差(di、dj)在预定的阈值(Tri、Trj)以下且水平方向的坐标差di与垂直方向的坐标差dj之和(di+dj)为最小的本次所获取的第二图像中的圆形高光溢出发光源与前次或再前次所获取的第二图像中的圆形高光溢出发光源的组合进行关联。需要说明的是，阈值Tri例如设定为相当于50cm的像素数，阈值Trj设定为相当于阈值Tri的3倍的像素数(相当于150cm的像素数)。
另外，移动量导出部172针对本次所获取的第二图像中的圆形高光溢出发光源中的、没有与前次或再前次所获取的第二图像中的圆形高光溢出发光源关联的圆形高光溢出发光源，设定为新的(没有追踪基础)圆形高光溢出发光源。
并且，移动量导出部172对于再前次所获取的第二图像中的圆形高光溢出发光源中的、没有与前次或本次所获取的第二图像中的圆形高光溢出发光源进行关联的圆形高光溢出发光源，作为追踪中断而结束追踪。
接着，移动量导出部172对于本次所获取的第二图像中的圆形高光溢出发光源中的、与前次或再前次所获取的第二图像中的圆形高光溢出发光源进行了关联的圆形高光溢出发光源，基于由位置信息导出部162导出的视差信息而导出包围圆形高光溢出发光源的矩形区域的中心的三维位置(xTi(t)、yTi(t)、zTi(t))。另外，移动量导出部172基于由位置信息导出部162导出的视差信息来导出车辆区域240的中心的三维位置(xCi(t)、yCi(t)、zCi(t))。
移动量导出部172导出与车辆区域240的中心对应的圆形高光溢出发光源的水平方向的偏移量dxi(t)＝xCi(t)－xTi(t)。另外，移动量导出部172导出追踪开始的圆形高光溢出发光源的偏移量dxi(t)的累计値，即，移动量Σddxi(t)。
在通过移动量导出部172导出的圆形高光溢出发光源的移动量在预定的移动量阈值(例如，50cm)以上的情况下，高光溢出范围设定部176确定为是由太阳光反射造成的发光源(以下，称作移动高光溢出发光源)。高光溢出范围设定部176对于移动高光溢出发光源的附近，设定被认为是由于太阳光的反射颜色值变高的高光溢出范围。
图9是说明高光溢出范围252的图。图10是示出由太阳光反射区域产生的发光源候补出现的比率的图。具体地，如图9(a)所示，在车辆区域240内确定有三个发光源候补250a、250b、250c，将发光源候补250a确定为圆形高光溢出发光源。如图9(b)、图9(c)所示，发光源候补(圆形高光溢出发光源)250a随着时间的经过(在多个帧期间)而移动，发光源候补250a被确定为移动高光溢出发光源。
在这样的情况下，如图9(d)所示，高光溢出范围设定部176将发光源候补(移动高光溢出发光源)250a的水平方向的中央作为基准，设定预定宽度的沿垂直方向延长而成的高光溢出范围252。另外，高光溢出范围设定部176将车辆区域240中的高光溢出范围252以外的范围设定为认为没有受到太阳光的反射的影响的非高光溢出范围254。
这里，如图10所示，通过试验证明了由于太阳光反射而被确定的发光源候补以移动高光溢出发光源的水平方向的中央为基准，沿水平方向300mm以内出现的比率高，在超过300mm出现的比率极其低。这是因为，车辆一般为车辆的背面呈沿宽度方向弯曲的形状，其曲率在高度方向上几乎没有变化。因此，高光溢出范围设定部176将发光源候补(移动高光溢出发光源)250a的水平方向的中央作为基准，设定以沿车辆区域240内的水平方向为±300mm的宽度沿垂直方向延长而成的高光溢出范围252。
在以下说明的灯判定处理中，将对位于车辆区域240内的发光源候补是否为亮灯状态的刹车灯进行判定时使用的颜色条件以及在后详述的亮灯判定阈值，在高光溢出范围252和非高光溢出范围254中设定得不同。
(灯判定处理)
图11是示出与存在于高光溢出范围252以及非高光溢出范围254的发光源候补对应的颜色条件以及亮灯判定阈值的图。如后详述，面积转换部178使用图11所示的颜色条件将发光源候补的像素数转换为面积。灯判定部180使用图11所示的亮灯判定阈值来判定位于车辆区域240内的发光源候补是否是亮灯状态的刹车灯。
如图11所示，在非高光溢出范围254中，颜色条件根据与前行车辆的相对距离而不同。这是因为，随着相对距离变长，在第二图像中所拍摄的刹车灯的颜色值逐渐变低，由此随着相对距离变长，降低作为颜色条件的亮灯判定阈值，来防止亮灯状态的刹车灯根据颜色条件而被误判定为灭灯状态。
在本实施方式中，非高光溢出范围254的颜色条件在相对距离为0～40m的情况下被设定为第二颜色条件，在相对距离为40～60m的情况下被设定为第三颜色条件，在相对距离为60～80m的情况下被设定为第四颜色条件，在相对距离为80m以上的情况下被设定为第五颜色条件。另外，非高光溢出范围254的亮灯判定阈值被设定为在后详述的亮灯判定阈值THL。
另一方面，高光溢出范围252的颜色条件由于根据太阳光的反射颜色值变高的可能性高，因此与相对距离无关地被设定为第二颜色条件。另外，高光溢出范围252的亮灯判定阈值被设定为比亮灯判定阈值THL高的亮灯判定阈值THH。
然而，若本车辆1与前行车辆之间的相对距离长，则满足颜色条件的发光源候补变小，其像素数也变少。与此相对地，若与前行车辆的相对距离短，则满足颜色条件的发光源候补变大，其像素数变多。因此，即使刹车灯维持亮灯状态，满足颜色条件的像素数也根据与前行车辆的相对距离的变化而产生变动。例如，即使刹车灯是亮灯状态，满足颜色条件的像素数也根据与前行车辆的位置关系而不同，如此，虽然原本刹车灯处于亮灯状态，满足颜色条件的像素存在，但相对距离过长，而产生了其数值不满足阈值的结果。因此，在本实施方式中，基于与前行车辆的相对距离而将像素数转换为实际的面积。
图12是本车辆1与前行车辆之间的相对距离和像素数的关系的说明图。在图12中，在横轴示出相对距离，在纵轴示出预定大小的立体物所占的像素数。如参照图12可理解的那样，即使是相同的立体物(相同的面积)，相对距离越长，像素数越少。该变化可以用函数来拟合，从相对距离0地点到图12中的相对距离a地点为止，与相对距离成比例，a地点以后，与相对距离的3/2次方成比例。通常，图像中的立体物的大小仅与其相对距离成比例，然而在发光源的情况下，收到发光的影响，发光范围看起来较宽。因此，如图12那样，相对距离与像素数之间的关系成为非线性。
因此，面积转换部178对满足基于与前行车辆的相对距离而设定的颜色条件(图11)的像素数进行计数，根据图12的反函数(除以图12的像素数)而将满足颜色条件的像素数转换为面积。具体地，面积转换部178对于处于非高光溢出范围254内的发光源候补，当相对距离为0～40m时对满足第二颜色条件的像素数进行计数，当相对距离为40～60m时对满足第三颜色条件的像素数进行计数，当相对距离为60～80m时对满足第四颜色条件的像素数进行计数，当相对距离为80m以上时对满足第五颜色条件的像素数进行计数。另外，面积转换部178对于位于高光溢出范围252内的发光源候补，与相对距离无关地对满足第二颜色条件的像素数进行计数。
面积转换部178根据图12的反函数(除以图12的像素数)将计数而得的像素数转换为面积。据此，立体物的大小的变化变少，后述的灯判定部180通过将转换而得的面积与亮灯判定阈值进行比较，从而能够高精度地判定处于亮灯状态的刹车灯。
图13是说明统计性的亮灯判定阈值的直方图，是对于在第二图像中确定为满足预定的颜色条件的发光源候补的、有太阳光反射的区域的面积和亮灯状态的刹车灯的面积，将横轴设为频数统计而得的结果。如图13所示，在统计上可知有太阳光反射的区域的面积表现出基本上比亮灯状态的刹车灯的面积小的值。
因此，在本实施方式中，将有太阳光反射的区域的面积与亮灯状态的刹车灯的面积进行区别的亮灯判定阈值THH在统计上预先被确定，并存储于存储部152。这里，虽然考虑仅使用亮灯判定阈值THH针对全部发光源候补来判断是否是亮灯状态的刹车灯，但是不足亮灯判定阈值THH的发光源候补中也包括很多亮灯状态的刹车灯。因此，比亮灯判定阈值THH低的值且比亮灯状态的刹车灯的面积小的亮灯判定阈值THL也预先在统计上被确定，并存储于存储部152。针对被认为是由太阳光的反射而颜色值变高的高光溢出范围252内的发光源候补，应用亮灯判定阈值THH，针对被认为是没有发生太阳光的反射的非高光溢出范围254内的发光源候补，应用亮灯判定阈值THL。
具体地，只要位于非高光溢出范围254内的发光源候补的面积为亮灯判定阈值THL以上，灯判定部180就预判定为亮灯状态的刹车灯。另一方面，灯判定部180仅在位于高光溢出范围252内的发光源候补的面积为亮灯判定阈值THH以上的情况下，预判定为亮灯状态的刹车灯。
灯判定部180对于预判定为亮灯状态的刹车灯的发光源候补的个体，判定是否满足高度范围(0.3～2.0m)、水平距离的宽度范围(0.05～0.2m)、垂直距离的宽度范围(0.05～0.2m)的条件。并且，灯判定部180判定一对发光源候补的组合是否满足水平距离上差分(1.4～1.9m)、垂直距离的差分(0.3m以下)、面积比(50～200％)的条件。灯判定部180将满足上述条件的一对发光源候补判定为亮灯状态的刹车灯。如此，仅在发光源候补与车辆的适当的位置对应的情况下，确定为刹车灯，根据该构成，能够防止将后雾灯等同等亮度的、仅有一个灯且亮灯的发光源候补误识别为刹车灯。
如此，灯判定部180若判定亮灯状态的刹车灯，则将该刹车灯和根据上述的在第一曝光状态下拍摄的第一图像而确定的“车辆”进行关联。
如上，即使高光溢出范围252内的发光源候补的颜色值根据太阳光的反射而变高、车外环境识别装置120也针对高光溢出发光源的附近的高光溢出范围252内的发光源候补，使用在非高光溢出范围254内的发光源候补的颜色条件以上的高颜色条件来对像素数进行计数。据此，能够导出考虑了太阳光的反射的影响的面积，能够高精度地判定亮灯状态的刹车灯。在此，针对高光溢出范围252内的发光源候补，可以使用比与非高光溢出范围254内的发光源候补对应的颜色条件高的颜色条件来对像素数进行计数。
另外，即使高光溢出范围252内的发光源候补的颜色值因太阳光的反射而变高，车外环境识别装置120也针对高光溢出发光源的附近的高光溢出范围252内的发光源候补，使用与非高光溢出范围254内的发光源候补不同的高亮灯判定阈值THH来判定是否为亮灯状态的刹车灯。据此，能够进行考虑了太阳光的反射的影响的判定，能够高精度地判定亮灯状态的刹车灯。
并且，车外环境识别装置120无需在确定前行车辆之后持续监测刹车灯的亮度变化，而能够在早期判定亮灯状态的灯。
(车外环境识别处理的流程)
接下来，对中央控制部154执行的包括上述的图像处理、车辆确定处理、发光源候补确定处理、高光溢出范围设定处理和灯判定处理的车外环境识别处理在内的流程进行说明。
图14是示出车外环境识别处理的流程的流程图。图15是示出刹车灯判定处理的流程的流程图。如图14那样，首先，图像处理部160从摄像装置110取得在第一曝光形态下拍摄的第一图像和在第二曝光形态下拍摄的第二图像(S300)。图像处理部160从所取得的图像导出视差，位置信息导出部162基于所导出的视差导出每个立体部位的三维位置信息(S302)。接着，车辆确定部164基于三维位置信息从进行了群组化的立体物中确定车辆、车辆区域，并且确定与前行车辆的相对位置(相对距离)(S304)。
接下来，发光源候补确定部166对是否确定有前行车辆进行判定(S306)，若没有确定有前行车辆(S306中的“否”)，则将取得的第二图像的帧数N重置(S308)，结束该车外环境识别处理。
另一方面，若前行车辆被确定(S306中的“是”)，则发光源候补确定部166将帧数N加1(S310)，之后将构成第二图像的像素的颜色值满足第五颜色条件的像素群组确定为发光源候补(S312)。然后，高光溢出发光源确定部168将颜色值为高光溢出阈值以上的像素群组确定为高光溢出发光源(S314)。
然后，形状判定部170导出由高光溢出发光源确定部168确定的高光溢出发光源的圆度，将所导出的圆度为在后车窗反射的圆形阈值以上的高光溢出发光源确定为圆形高光溢出发光源(S316)。
接着，移动量导出部172通过将前次或再前次所获取的第二图像中的圆形高光溢出发光源与本次所获取的第二图像中的圆形高光溢出发光源进行关联，从而追踪圆形高光溢出发光源(S318)，并导出正在追踪的圆形高光溢出发光源的移动量(S320)。
然后，移动高光溢出发光源确定部174判定帧数N是否为100以上(S322)，若帧数N不足100(S322中的“否”)，则结束该车外环境识别处理。
另一方面，若帧数N为100以上(S322中的“是”)，则高光溢出范围设定部176判定圆形高光溢出发光源的移动量是否为移动量阈值以上(S324)。其结果，若圆形高光溢出发光源的移动量为移动量阈值以上(S324中的“是”)，则移动高光溢出发光源确定部174将移动量为移动量阈值以上的圆形高光溢出发光源确定为移动高光溢出发光源(S326)。然后，高光溢出范围设定部176将移动高光溢出发光源的水平方向的中央作为基准，将车辆区域240内沿水平方向±300mm设定为高光溢出范围252(S328)。需要说明的是，高光溢出范围设定部176在圆形高光溢出发光源的移动量不在移动量阈值以上(S324中的“否”)，且移动高光溢出发光源没有被确定的情况下，将车辆区域240整体设定为非高光溢出范围254，另外，移动高光溢出发光源被确定且设定了高光溢出范围252的情况下，将车辆区域240中的没有设定为高光溢出范围252的范围设定为非高光溢出范围254。
然后，面积转换部178以及灯判定部180进行判定亮灯状态的刹车灯的刹车灯判定处理(S330)，结束该车外环境识别处理。具体地，如图15所示，面积转换部178选择一个确定了的未判定的发光源候补(S340)，判定所选择的发光源候补是否在高光溢出范围252内(S342)。若所选择的发光源候补在高光溢出范围252内(S342中的“是”)，则面积转换部178对满足第二颜色条件的像素数进行计数，并基于与前行车辆的相对距离将像素数转换为面积(S344)。接着，灯判定部180通过将转换而得的面积和亮灯判定阈值THH进行比较，从而预判定是否是亮灯状态的刹车灯(S346)。
另一方面，若所选择的发光源候补不在高光溢出范围252内，即，在非高光溢出范围254内(S342中的“否”)，则面积转换部178对满足与相对距离对应的颜色条件(第二颜色条件～第五颜色条件中的任一个)的像素数进行计数，基于与前行车辆的相对距离将像素数转换为面积(S348)。接着，灯判定部180通过将转换而得的面积和亮灯判定阈值THL进行比较，从而虚拟判定是否是亮灯状态的刹车灯(S350)。
然后，面积转换部178判定是否存在未判定的发光源候补(S352)，若存在未判定的发光源(S352中的“是”)，则返回S340的处理。另一方面，若不存在未判定的发光源(S352中的“否”)，则当预判定为亮灯状态的刹车灯的发光源候补满足位置时，灯判定部180将该发光源候补确定为亮灯状态的刹车灯(S354)，结束该刹车灯判定。
以上，参照附图对本发明的优选实施方式进行了说明，但本发明并不限于上述实施方式。本技术领域技术人员可以在所附权利要求的范围内进行各种变化和修改，而且应理解的是，这些变化和修改也自然地归入本发明的技术范围。
需要说明的是，在上述实施方式中，针对非高光溢出范围254内的发光源候补以及高光溢出范围252内的发光源候补，使用不同的颜色条件以及亮灯判定阈值来判定是否是亮灯状态的刹车灯。然而，并不限于此，针对非高光溢出范围254内的发光源候补以及高光溢出范围252内的发光源候补，也可以是亮灯判定阈值相同，仅使颜色条件不同来判定是否是亮灯状态的刹车灯，另外，也可以是颜色条件相同，仅使亮灯判定阈值不同来判定是否是亮灯状态的刹车灯。
另外，在上述的实施方式中，对于发光源候补，对满足与相对距离对应的颜色条件的像素数进行计数，基于与前行车辆的相对距离将像素数转换为面积，通过将转换而得的面积和亮灯判定阈值进行比较，从而判定亮灯状态的灯。然而，并不限于此，对于发光源候补，也可以通过将满足预定的颜色条件的像素数或者像素面积和亮灯判定阈值进行比较，从而判断亮灯状态的灯。
另外，在上述的实施方式中，针对预判定为亮灯状态的刹车灯的发光源候补来判定是否满足位置、大小等条件，将满足条件的发光源候补判定为亮灯状态的刹车灯。然而，并不限于此，也可以将预判定为亮灯状态的刹车灯的发光源候补保持判定为亮灯状态的刹车灯不变。
另外，在上述的实施方式中，虽然设定为判定亮灯状态的刹车灯，并不限于此，也可以设定为判定其他亮灯状态的灯。
另外，在上述的实施方式中，在移动高光溢出发光源被确定的情况下，针对移动高光溢出发光源，将沿水平方向±30cm设定为高光溢出范围252。然而，并不限于此，在移动高光溢出发光源被确定的情况下，针对移动高光溢出发光源，也可以将沿平方向以及垂直方向的预定的范围(例如，±30cm)设定为高光溢出范围。
另外，在上述的实施方式中，通过形状判定部170导出高光溢出发光源的圆度，导出圆度在圆形阈值以上的圆形高光溢出发光源的移动量来确定移动高光溢出发光源，也可以导出全部高光溢出发光源的移动量来确定移动高光溢出发光源。即，也可以不导出高光溢出发光源的圆度。
另外，在上述的实施方式中，由包括中央处理装置(CPU)、ROM、RAM等在内的半导体集成电路构成为中央控制部154。然而，并不限于此，也可以由FPGA(Field ProgrammableGate Array)和/或ASIC(Application Specific Integrated Circuit)等集成电路构成。另外，也可以由一个或多个中央处理装置、FPGA、ASIC构成。
另外，还提供使计算机作为车外环境识别装置120发挥作用的程序和/或存储该程序并能够由计算机读取的软磁盘、光盘、DRAM、SRAM、ROM、NVRAM、CD、DVD、BD等存储介质。这里，程序是指由任意语言和/或记录方法记录的数据处理单元。
另外，本说明书的车外环境识别处理的各步骤不一定沿着流程图记载的顺序地按时序进行处理，也可以包括并列的处理或由子程序进行的处理。
产业上的可利用性
本发明能够用于对前行车辆中的亮灯状态的刹车灯进行确定的车外环境识别装置。

Claims (6)

1.一种车外环境识别装置，其特征在于，所述车外环境识别装置具备计算机，
所述计算机作为以下功能部发挥功能：
车辆确定部，其基于每个由摄像装置连续拍摄的图像来确定前行车辆以及该前行车辆所占的车辆区域；
发光源候补确定部，其将所确定的所述车辆区域中的发光源的候补确定为发光源候补；
高光溢出发光源确定部，其将所确定的所述车辆区域中的、满足预定的高光溢出条件的区域确定为高光溢出发光源；
移动量导出部，其导出所述高光溢出发光源相对于所述车辆区域在预定期间的移动量；
移动高光溢出发光源确定部，其在所述高光溢出发光源的所述移动量为预定的移动量阈值以上的情况下，将该高光溢出发光源确定为移动高光溢出发光源；
高光溢出范围设定部，其将相对于所述移动高光溢出发光源的预定的范围设定为高光溢出范围；以及
灯判定部，其基于对应于位于所述高光溢出范围内的发光源候补的颜色条件和对应于位于该高光溢出范围以外的发光源候补的颜色条件来判定所确定的所述发光源候补中的、位于所述高光溢出范围内的发光源候补和位于该高光溢出范围以外的发光源候补是否是亮灯状态的灯。
2.如权利要求1所述的车外环境识别装置，其特征在于，
所述灯判定部基于满足预定强度的颜色条件的像素数或像素面积来判定所确定的所述发光源候补中的位于所述高光溢出范围以外的发光源候补是否是亮灯状态的灯，并基于满足比所述颜色条件高的强度的颜色条件的像素数或像素面积来判定位于该高光溢出范围内的发光源候补是否是亮灯状态的灯。
3.如权利要求1或2所述的车外环境识别装置，其特征在于，还具备：
形状判定部，其导出由所述高光溢出发光源确定部确定的所述高光溢出发光源的圆度，并提取所导出的圆度在预定的圆形阈值以上的高光溢出发光源，
所述移动量导出部导出由所述形状判定部提取的高光溢出发光源的移动量。
4.如权利要求1或2所述的车外环境识别装置，其特征在于，
高光溢出范围设定部以所述移动高光溢出发光源为中心来设定沿垂直方向延长而成的所述高光溢出范围。
5.如权利要求3所述的车外环境识别装置，其特征在于，
高光溢出范围设定部以所述移动高光溢出发光源为中心来设定沿垂直方向延长而成的所述高光溢出范围。
6.如权利要求2所述的车外环境识别装置，其特征在于，
所述计算机还作为面积转换部发挥功能，
所述面积转换部，针对所确定的所述发光源候补中的位于所述高光溢出范围以外的发光源候补，对满足所述预定强度的颜色条件的像素数进行计数，并基于与前行车辆的相对距离将该像素数转换为面积；针对位于该高光溢出范围内的发光源候补，对满足比该预定强度的颜色条件高的强度的颜色条件的像素数进行计数，并基于与所述前行车辆的相对距离将该像素数转换为面积，
在转换而得的面积在被认为是所述前行车辆的灯处于亮灯状态的预定的亮灯判定阈值以上的情况下，所述灯判定部将该发光源候补判定为亮灯状态的灯。
CN201610831424.1A 2015-09-24 2016-09-19 车外环境识别装置 Active CN107045619B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-186781 2015-09-24
JP2015186781A JP6132412B2 (ja) 2015-09-24 2015-09-24 車外環境認識装置

Publications (2)

Publication Number Publication Date
CN107045619A CN107045619A (zh) 2017-08-15
CN107045619B true CN107045619B (zh) 2018-07-06

Family

ID=58282006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610831424.1A Active CN107045619B (zh) 2015-09-24 2016-09-19 车外环境识别装置

Country Status (4)

Country Link
US (1) US9904860B2 (zh)
JP (1) JP6132412B2 (zh)
CN (1) CN107045619B (zh)
DE (1) DE102016117780B4 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6236039B2 (ja) * 2015-06-26 2017-11-22 株式会社Ｓｕｂａｒｕ 車外環境認識装置
US10614326B2 (en) * 2017-03-06 2020-04-07 Honda Motor Co., Ltd. System and method for vehicle control based on object and color detection
US10380438B2 (en) * 2017-03-06 2019-08-13 Honda Motor Co., Ltd. System and method for vehicle control based on red color and green color detection
CN108961357B (zh) * 2017-05-17 2023-07-21 浙江宇视科技有限公司 一种交通信号灯过爆图像强化方法及装置
US10630901B2 (en) 2017-05-23 2020-04-21 Google Llc Systems and methods for selectively activating high dynamic range in a video capture system
WO2019021500A1 (ja) * 2017-07-25 2019-01-31 日本電気株式会社 乗員数検知システム、乗員数検知方法、およびプログラム
JP2019053619A (ja) * 2017-09-15 2019-04-04 株式会社東芝 信号識別装置、信号識別方法、及び運転支援システム
IL258413A (en) * 2018-03-26 2018-05-31 Michael Elgrably Communicating vessels
CN110827558B (zh) * 2018-06-19 2020-12-22 嘉兴觅特电子商务有限公司 基于车速、高亮区域高度和图像的交通信号灯识别装置
JP6731020B2 (ja) * 2018-09-03 2020-07-29 株式会社Ｓｕｂａｒｕ 車外環境認識装置および車外環境認識方法
CN110570389B (zh) * 2018-09-18 2020-07-17 阿里巴巴集团控股有限公司 车辆损伤识别方法及装置
US11222218B2 (en) * 2019-03-11 2022-01-11 Subaru Corporation Vehicle exterior environment detection apparatus
JP7356319B2 (ja) * 2019-10-17 2023-10-04 株式会社Subaru 車外環境認識装置
JP7381388B2 (ja) * 2020-04-03 2023-11-15 トヨタ自動車株式会社 信号灯状態識別装置、信号灯状態識別方法及び信号灯状態識別用コンピュータプログラムならびに制御装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3349060B2 (ja) * 1997-04-04 2002-11-20 富士重工業株式会社 車外監視装置
CN102902952A (zh) * 2011-07-28 2013-01-30 株式会社日立制作所 车载用环境识别装置
JP2013109391A (ja) * 2011-11-17 2013-06-06 Fuji Heavy Ind Ltd 車外環境認識装置および車外環境認識方法
CN104512411A (zh) * 2013-09-26 2015-04-15 株式会社电装 车辆控制系统及图像传感器

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11203446A (ja) * 1998-01-12 1999-07-30 Toyota Motor Corp 撮影対象認識装置
JP4953498B2 (ja) 2000-07-12 2012-06-13 富士重工業株式会社 フェールセーフ機能を有する車外監視装置
WO2012110894A1 (en) * 2011-02-18 2012-08-23 DigitalOptics Corporation Europe Limited Dynamic range extension by combining differently exposed hand-held device-acquired images
US9690997B2 (en) * 2011-06-06 2017-06-27 Denso Corporation Recognition object detecting apparatus
US8957788B2 (en) 2011-10-28 2015-02-17 Xerox Corporation Vehicle reverse detection method and system via video acquisition and processing
JP6210917B2 (ja) 2014-03-26 2017-10-11 トスレック株式会社 ナノバブル製造装置
US9929808B2 (en) * 2014-06-19 2018-03-27 Philips Lighting Holding B.V. High-dynamic-range coded light detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3349060B2 (ja) * 1997-04-04 2002-11-20 富士重工業株式会社 車外監視装置
CN102902952A (zh) * 2011-07-28 2013-01-30 株式会社日立制作所 车载用环境识别装置
JP2013109391A (ja) * 2011-11-17 2013-06-06 Fuji Heavy Ind Ltd 車外環境認識装置および車外環境認識方法
CN104512411A (zh) * 2013-09-26 2015-04-15 株式会社电装 车辆控制系统及图像传感器

Also Published As

Publication number Publication date
US20170091566A1 (en) 2017-03-30
DE102016117780B4 (de) 2018-10-04
US9904860B2 (en) 2018-02-27
JP6132412B2 (ja) 2017-05-24
JP2017062582A (ja) 2017-03-30
DE102016117780A1 (de) 2017-03-30
CN107045619A (zh) 2017-08-15

Similar Documents

Publication Publication Date Title
CN107045619B (zh) 车外环境识别装置
CN106295493B (zh) 车外环境识别装置
CN106965739B (zh) 车外环境识别装置
CN104517118B (zh) 车外环境识别装置
TWI302879B (en) Real-time nighttime vehicle detection and recognition system based on computer vision
JP6453490B2 (ja) 路面反射を認識し評価するための方法及び装置
JP6034923B1 (ja) 車外環境認識装置
JP6420650B2 (ja) 車外環境認識装置
CN103810469A (zh) 车外环境识别装置
CN107850668A (zh) 测距模块、测距系统和控制测距模块的方法
JP6786279B2 (ja) 画像処理装置
CN102881186A (zh) 车辆用外界识别装置及使用了该装置的车辆控制系统
JP2018516799A5 (zh)
CN110298793A (zh) 车外环境识别装置
JP2016004503A (ja) 車外環境認識装置
Wang et al. Real-time vehicle signal lights recognition with HDR camera
EP3637758A1 (en) Image processing device
JP6329417B2 (ja) 車外環境認識装置
JP6259335B2 (ja) 車外環境認識装置
JP6654870B2 (ja) 車外環境認識装置
JP6335065B2 (ja) 車外環境認識装置
JP6378547B2 (ja) 車外環境認識装置
JP2020136811A (ja) 固体撮像装置及び撮像装置
DE102006043433A1 (de) Verfahren zur bildgestützten Bestimmung der Fahrtrichtung von Fahrzeugen

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant