CN102975677B - 环境识别装置及环境识别方法 - Google Patents

Abstract

本发明涉及不伴随响应延迟的情况下恰当地实现白平衡补偿的环境识别装置和环境识别方法。环境识别装置获取存在于检测区域的对象部位的亮度；从获取的亮度中特定道路面的亮度和参照部位的亮度；当在参照部位的亮度变化没有达到第二预定值以上的状态下，道路面的亮度变化达到第一预定值以上，且道路面变化后的亮度不是预定颜色时，从变化时间点开始至道路面的亮度返回到预定颜色为止维持变化前的白平衡补偿值，此外导出白平衡补偿值以使道路面的亮度被识别为预定颜色；对获取的亮度实施基于白平衡补偿值的白平衡补偿而导出补偿亮度；基于数据存储单元存储的亮度范围与特定物之间的对应关系，从对象部位的补偿亮度初步确定对应于对象部位的特定物。

Description

环境识别装置及环境识别方法

技术领域

本发明涉及基于检测区域的对象物的亮度而识别该对象物的环境识别装置及环境识别方法。

背景技术

以往，检测位于本车辆前方的车辆或信号灯等所谓障碍物的对象物，并对本车辆进行控制以避免与所检测出的对象物发生碰撞或使本车辆与前行车辆的车距保持在安全距离的技术已被为人所知(例如，专利文献1、2)。

而且，在这种技术中，不仅将对象物一律特定为物体，而且为了进行更高精度的控制，还存在判断对象物是以与本车辆相同的速度行驶的前行车辆，还是不移动的被固定的物体等的技术。这里，当通过对检测区域的拍摄而检测出对象物时，在特定对象物为何物之前，应从所拍摄的图像中提取(剪切)对象物本身。

周知的技术例如有当所拍摄的图像为彩色图像时，将具有相同的亮度(颜色)的像素群组化，并将信号灯等的光源识别为对象物的技术(例如，专利文献3)。但是，这样的对象物受到太阳光或照明光等的环境光的影响，颜色有可能发生变化。因此，为了消除环境光的影响，可以考虑对所拍摄的图像实施白平衡补偿。周知的技术例如有从拍摄的图像中提取相当于道路面的区域进行白平衡补偿的技术。

现有技术文献

专利文献

专利文献1：日本专利第3349060号

专利文献2：日本特开平10-283461号公报

专利文献3：日本特开2010-224925号公报

专利文献4：日本特开2006-33855号公报

当本车辆在道路上行驶时，大多数情况下道路占有检测区域内，因此最好进行如下的补偿，即，提取相当于道路面的区域，并以该道路面为灰色为前提，进行使道路面变成灰色的白平衡补偿。但是，在一般的道路面上，还有代表学校区域的被覆上灰色以外的颜色(例如绿色)的道路面。当进行将这样的被覆上灰色以外的颜色的道路面单纯地变换为灰色的白平衡补偿时，检测区域内的白平衡会变乱。

为了避免发生这样的情况，可以基于被覆上灰色以外的颜色的道路相比灰色的道路少的情况，考虑借助低通滤波器等，排除这样的道路。但是，被覆上灰色以外的色颜色的道路并不一定一律为短道路，因此难以将低通滤波器的参数唯一地定义。并且，在隧道的入口等的环境光急剧变化的情况下，滤波器的延迟有可能影响控制的响应性。

发明内容

本发明是鉴于这种问题而提出的，其目的在于提供一种能够在不伴随响应延迟的情况下恰当地实现白平衡补偿的环境识别装置和环境识别方法。

为了实现上述目的，本发明的环境识别装置的特征在于包括：数据存储单元，对应地存储亮度的范围和特定物；亮度获取单元，获取存在于检测区域内的对象部位的亮度；亮度特定单元，从所获取的亮度中特定道路面的亮度以及道路面以外的预定的参照部位的亮度；白平衡导出单元，导出白平衡补偿值，以使道路面的亮度被识别为预定颜色；白平衡执行单元，对所获取的亮度实施基于白平衡补偿值的白平衡补偿而导出补偿亮度；特定物初步确定单元，基于数据存储单元所存储的亮度的范围和特定物之间的对应关系，从对象部位的补偿亮度初步确定对应于对象部位的特定物，而且当在参照部位的亮度变化没有达到第二预定值以上的状态下，道路面的亮度变化达到第一预定值以上，且道路面的变化后的亮度不是预定颜色时，白平衡导出单元从变化时间点开始至道路面的亮度返回到预定颜色为止维持变化之前的白平衡补偿值。

而且，参照部位可以为检测区域内的道路面上的限制行驶路的线。

而且，道路面可以基于参照部位设为参照部位的邻近区域。

而且，白平衡导出单元可通过求出检测区域中的预定的第一部分区域的不同时刻的、道路面的亮度以及参照部位的亮度而导出道路面的亮度的变化。

而且，白平衡导出单元可通过分别求出检测区域中的预定的第一部分区域和检测区域中的与第一部分区域沿高度方向分隔的第二部分区域的道路面的亮度以及参照部位的亮度而导出道路面的亮度的变化。

而且，当道路面的亮度为最大或最小的色相中每一个的差值之间的差值为第三预定值以上时，白平衡导出单元判断为亮度发生了变化。

而且，白平衡导出单元可以求出道路面的每个色相的亮度的最大值，将使与亮度为最大值的色相不同的色相的亮度变成最大值的比率设为白平衡补偿值。

而且，白平衡导出单元可以求出道路面的每个色相的亮度为第二大的值，将使与亮度为第二大的色相不同的色相的亮度变成第二大的值的比率设为白平衡补偿值。

而且，白平衡导出单元可以求出道路面的每个色相的亮度的最小值，将使与亮度为最大值的色相不同的色相的亮度变成最小值的比率设为白平衡补偿值。

而且，亮度特定单元可以从检测区域内的、基于先行车辆或车辆前方的特定物的位置而被限制在铅直方向的预定区域特定道路面的亮度和参照部位的亮度。

为了实现上述目的，本发明的环境识别方法的特征在于，获取存在于检测区域内的对象部位的亮度；从所获取的亮度中特定道路面的亮度以及道路面以外的预定的参照部位的亮度；当在参照部位的亮度变化没有达到第二预定值以上的状态下，道路面的亮度变化达到第一预定值以上，且道路面的变化后的亮度不是预定颜色时，从变化时间点开始至道路面的亮度返回到预定颜色为止维持变化之前的白平衡补偿值，而在除此之外的情况下，导出白平衡补偿值，以使道路面的亮度被识别为预定颜色；对所获取的亮度实施基于白平衡补偿值的白平衡补偿而导出补偿亮度；基于数据存储单元所存储的亮度的范围与特定物之间的对应关系，从对象部位的补偿亮度初步确定对应于对象部位的特定物。

根据本发明，能够高精度地检测出道路面的亮度的变化是因环境光而引起的还是因道路面本身的着色而引起的，而且能够避免随之而产生的响应延迟的情况下恰当地实现白平衡补偿。

附图说明

图1为示出环境识别系统的连接关系的方框图。

图2为用于说明亮度图像和距离图像的说明图。

图3为示出环境识别装置的概略功能的功能方框图。

图4为用于说明特定物表格的说明图。

图5为用于说明白平衡导出单元的处理的说明图。

图6为用于说明通过位置信息获取单元变换为三维位置信息的说明图。

图7为用于说明亮度特定单元的动作的说明图。

图8为用于说明特定物映射图的说明图。

图9为表示环境识别方法的整个流程的流程图。

图10为表示白平衡补偿值导出处理的流程的流程图。

图11为表示特定物映射图生成处理的流程的流程图。

图12为表示群组化处理的流程的流程图。

图13为表示特定物确定处理的流程的流程图。

图14为表示白平衡准备处理的流程的流程图。

符号说明

1：车辆

122：检测区域

124：亮度图像

126：距离图像

130：环境识别装置

152：数据存储单元

160：亮度获取单元

162：白平衡导出单元

164：白平衡执行单元

166：位置信息获取单元

168：亮度特定单元

170：特定物初步确定单元

172：群组化单元

174：特定物确定单元

176：图案匹配单元

200：特定物表格

202：亮度范围

220：特定物映射图

具体实施方式

以下，参照附图详细说明本发明的优选实施方式。所涉及的实施方式中所示的尺寸、材料、其他具体数值等是仅仅是为了使发明容易理解而例示的，除了特别指定的情况之外，并不能用来限定本发明。在此，本说明书及附图中，对于具有实质上相同的功能、结构的要素，通过赋予相同的符号的方式省略重复性说明，而且对与本发明没有直接关系的要素省略了图示。

(环境识别系统100)

图1为示出环境识别系统100的连接关系的方框图。环境识别系统100包含设置在车辆1内的多个(本实施方式中为两个)摄像装置110、图像处理装置120、环境识别装置130、车辆控制装置140。

摄像装置110包含电荷耦合器件(CCD，Charge-Coupled Device)或互补金素氧化半导体(CMOS，Complementary Metal-Oxide Semiconductor)等摄像器件，能够获取彩色图像，即，像素单位中可获取三个色相(红、绿、蓝)的亮度。在本实施方式中，把颜色和亮度同等看待，在同一篇文章里包含两个语句时，可相互交替读取为构成颜色的亮度或具有亮度的颜色。在此，由摄像装置110所拍摄的彩色图像称为亮度图像，区别于后述的距离图像。而且，摄像装置110为两个，两个摄像装置110在大致水平方向上分开布置，以在车辆1的行驶方向侧两个摄像装置110各自的光轴大致平行。摄像装置110每隔例如1/60秒(60fps)连续生成拍摄车辆1前方的检测区域中的对象物的图像数据。这里，对象物不仅包括车辆、信号灯、道路、护栏等独立存在的立体物，还包括尾灯或转向指示灯、信号灯的各个照明部分等能够特定为立体物的部分的物体。在以下实施方式中的各个功能单元以这种图像数据的更新为契机执行各种处理。

图像处理装置120从两个摄像装置110分别获取图像数据，并基于两个图像数据导出包含图像中的任意区块(集合预定数量的像素的区块)的视差以及示出任意区块在画面中的位置的画面位置的视差信息。图像处理装置120采用从另一个像素数据搜索对应于从一个图像数据任意抽出的区块(例如，水平4像素×垂直4像素的阵列)的区块的所谓的图案匹配而导出视差。在此，水平是指所拍摄的图像的画面横向方向，相当于实际空间中的水平方向。而且，垂直是指所拍摄的图像的画面纵向方向，相当于实际空间中的竖直方向。

所述图案匹配是指，在两个图像数据之间以示出任意图像位置的区块单位比较亮度值(Y色差信号)的方法。例如，包括求出亮度值的差值的绝对差值和(SAD，Sum of Absolute Difference)、将差值平方后使用的差值的平方和(SSD，Sum of Squared intensity Difference)、求出从各个像素的亮度值减去了平均值的分散值的相似度的归一化互相关(NCC，Normalized CrossCorrelation)等方法。图像处理装置120对于被显示在检索区域(例如，600像素×200像素)的全部区块执行这种区块单位的视差导出处理。在此，将区块设定为4像素×4像素，但区块内的像素数量可以任意地设定。

但是，在图像处理装置120中，虽然对作为检测分辨率的单位的每个区块能够导出视差，但无法识别该区块是哪种对象物的一部分。因此，视差信息不是对象物单位，而是作为检测区域的检测分辨率单位(例如区块单位)而被独立地导出。在此，将如此导出的视差信息(相当于后述的相对距离)映射到图像数据的图像称为距离图像。

图2为用于说明亮度图像124和距离图像126的说明图。例如，假设通过两个摄像装置110针对检测区域122生成图2(a)所示的亮度图像(图像数据)124。但是，这里，为了便于理解，仅模式性地示出两个亮度图像124中的一个。在本实施方式中，图像处理装置120从这种亮度图像124求出每个区块的视差，从而形成图2(b)所示的距离图像126。对于距离图像126中的各个区块来说，其区块的视差相互关联。在此，为了便于说明，将导出视差的区块以黑点表示。

对于视差来说，容易在图像的边缘部分(相邻像素之间明暗的差值较大的部分)被特定，因此在距离图像126中，赋予黑点的、导出视差的区块在亮度图像124中也大多形成边缘。因此，图2(a)所示的亮度图像124和图2(b)所示的距离图像126在各个对象物的轮廓上相互近似。

环境识别装置130从图像处理装置120获得亮度图像124和距离图像126，并利用基于亮度图像124的亮度特定检测区域122中的对象物对应于哪个特定物。但是，在本实施方式中，通过对亮度图像124实施白平衡补偿谋求提高对象物的特定精度。并且，为了特定对象物，还使用基于距离图像126的与车辆1的相对距离。这时，环境识别装置130利用所谓的立体视觉法将距离图像126中的检测区域122内的每个区块的视差信息变换为包含相对距离的三维位置信息。这里，立体视觉法是通过使用三角测量法从对象物的视差导出该对象物相对于摄像装置110的相对距离的方法。对于环境识别装置130将在后面详述。

车辆控制装置140执行避免本车辆与通过环境识别装置130特定的对象物碰撞或使本车辆与前行车辆的车间距保持在安全距离的控制。具体来说，车辆控制装置140通过用于检测方向盘角度的舵角传感器142和用于检测车辆1的速度的车速传感器144等获得当前的车辆1的行驶状态，并通过控制致动器146将车辆1与前行车辆的车间距保持在安全距离。在此，致动器146是用于控制刹车、节气阀、舵角等的车辆控制用致动器。而且，当推断出将与对象物产生碰撞时，车辆控制装置140在设置在驾驶者前方的显示器148进行相应警告显示(报警)的同时，控制致动器146使车辆1自动地减速。车辆控制装置140也可以与环境识别装置130形成为一体。

(环境识别装置130)

图3为示出环境识别装置130的概略的功能的功能方框图。如图3所示，环境识别装置130包括I/F单元150、数据存储单元152、中央控制单元154。

I/F单元150是用于与图像处理装置120和车辆控制装置140进行双向信息交换的接口。数据存储单元152由RAM、闪存、HDD等构成，以用于存储特定物表格(对应关系)或以下所示各个功能单元的处理中所必要的各种信息，而且暂时存储从图像处理装置120接收的亮度图像124、距离图像126。在此，特定物表格的使用方式如下。

图4为用于说明特定物表格200的说明图。在特定物表格200中，针对多个特定物对应有表示亮度的范围的亮度范围202和表示特定物的大小的范围的幅度范围204。这里，作为特定物，可假设“信号灯(红)”、“信号灯(黄)”、“信号灯(蓝)”、“尾灯(红)”、“转向指示灯(橙)”、“道路标识(红)”、“道路标识(蓝)”、“道路标识(绿)”等在道路上行驶时需要看见的各种物体。当然，特定物并不局限于图4所示的物体。而且，特定物表格200中，特定物的特定具有优先顺序，该环境识别处理依照该优先顺序，对于从特定物表格200中的多个特定物中依次选择出的每一个特定物执行。特定物中，例如，特定物“信号灯(红)”中对应着亮度(红)“200以上”，亮度(绿)“50以下”，亮度(蓝)“50以下”，幅度范围“0.1～0.3m”。

在本实施方式中，基于特定物表格200，在亮度图像124内的任意对象部位中满足有关任意特定物的亮度范围202的条件的对象部位成为特定物的候补。例如，当对象部位的亮度被包含于特定物“信号灯(红)”的亮度范围202之内时，将该对象部位作为“信号灯(红)”的候补。并且，将对象部位群组化的对象物以类似特定物的形态被提取时，例如，被群组化的对象物的大小被包含在“信号灯(红)”的幅度范围“0.1～0.3m”之内时，被判断为特定物。被判断为特定物的对象部位通过特定物固有的识别号被标记。这里，对象部位假设为像素或集合像素的区块，但本实施方式中，为了便于说明，假设为像素。

中央控制单元154由包括中央处理器(CPU)、存储有程序等的ROM、作为工作区的RAM等的半导体集成电路构成，通过系统总线156控制I/F单元150和数据存储单元152等。而且，在本实施方式中，中央控制单元154具有作为亮度获取单元160、白平衡导出单元162、白平衡执行单元164、位置信息获取单元166、亮度特定单元168、特定物初步确定单元170、群组化单元172、特定物确定单元174、图案匹配单元176的功能。

亮度获取单元160根据后述的白平衡执行单元164和特定物初步确定单元170的控制指令，从接收的亮度图像124以对象部位(像素)单位获取亮度(在像素单位中获取三个色相(红(R)、绿(G)、蓝(B))的亮度)。并且，在后述的白平衡执行单元164执行白平衡补偿之后，获得其被补偿的补偿亮度。

白平衡导出单元162读取存储于数据存储单元152的上一次获得的道路面的亮度，导出白平衡补偿值。然后，将所导出的白平衡补偿值存储到数据存储单元152。

例如，由所述摄像装置110拍摄的亮度图像124中的物体相应于环境光而有可能变成不自然的颜色(亮度)。这时，进行对亮度图像124内的白色物体进行补偿而使其准确地反映出白色的所谓白平衡补偿。这样的白平衡补偿通过如下方式进行，即，当特定的对象物没有表现出本应有的亮度时，例如以色相单位(R，G，B)对亮度乘以白平衡补偿值(r，g，b)(r×R，g×G，b×B)，以使特定的对象物表现为本应有的亮度。但是，对于为进行白平衡补偿而参照的对象物而言，最好是在图像上占有面积比较大的、能够多少估计其亮度值的的对象物。

例如，白平衡导出单元162导出白平衡补偿值，从而能够将检测区域122内的道路面的亮度识别为预定颜色(例如灰色)。该环境识别系统100适用于车辆1，因此自然而然大多由作为行驶路的灰色的道路面占据着检测区域122。通过如此地参照道路面，可以稳定地导出恰当的白平衡补偿值。

具体而言，白平衡导出单元162求出道路面的每个色相的亮度的最大值，将使与亮度为最大值的色相不同的色相的亮度变成相同值(最大值)的比率设为白平衡补偿值。假设道路面的亮度为(R，G，B)＝(150，200，180)，则白平衡导出单元162导出使亮度与三个色相中的亮度的最大值“200”一致的白平衡补偿值(r，g，b)。在此，亮度为最大值“200”的G的白平衡补偿值为1.00，亮度为“150”的R的白平衡补偿值为200/150＝1.33，亮度为“180”的B的白平衡补偿值为200/180＝1.11。如此，可以得到白平衡补偿值(r，g，b)＝(1.33，1.00，1.11)。

并且，作为其他的示例，白平衡导出单元162也可以求出道路面的每个色相的亮度为第二大的值，以将使与亮度为第二大的色相不同的色相的亮度变成相同值(第二大的值)的比率设为白平衡补偿值。此时，假设道路面的亮度为(R，G，B)＝(150，200，180)，则白平衡导出单元162导出使亮度与三个色相中的亮度的第二大的值“180”一致的白平衡补偿值(r，g，b)。如此，可以得到白平衡补偿值(r，g，b)＝(1.20，0.90，1.00)。如此地通过使亮度一致为中间的色相的亮度，亮度接近设定范围的中心值，即使亮度本身的偏差变大，收敛至设定范围的可能性也变高。

进一步地，作为其他的示例，白平衡导出单元162也可以求出道路面的每个色相的亮度的最小值，以将使与亮度为最小值的色相不同的色相的亮度变成相同值(最小值)的比率设为白平衡补偿值。此时，若道路面的亮度为(R，G，B)＝(150，200，180)，则白平衡导出单元162导出使亮度与三个色相中的亮度的最小值“150”一致的白平衡补偿值(r，g，b)。如此，可以得到白平衡补偿值(r，g，b)＝(1.00，0.75，0.83)。无论使用哪个图案，道路面的亮度能够校正为本来的亮度，因此能够谋求特定物的特定精度的提高。

但是，道路面除了因柏油而呈现为灰色的通常的道路之外(以下，简单地称为“通常道路”)，还有学校区域等，例如绿色、红色、黄色的被覆上灰色以外的颜色的道路(以下，简单地称为“异色道路”)。因此，将通常道路的道路面微调整为灰色的白平衡补偿不能适用于异色道路。

因此，本实施方式的目的在于，高精度地检测出道路面的亮度的变化是因环境光引起的还是道路面本身的着色引起的，由此实现恰当地白平衡补偿。在此，本申请的发明人着眼于以下问题。即，如果是因环境光引起的道路面的亮度的变化，则整个检测区域122都受到环境光的影响，因此不仅是通常道路的道路面，道路面以外的预定参照部位的亮度也会发生变化，然而对于异色道路来说，仅该异色道路的亮度发生变化。以下，对于利用道路面的亮度和参照部位的亮度的变化检测道路面的亮度的变化是因环境光引起的还是因道路面本身的着色引起的构成进行说明。

白平衡导出单元162首先读取存储于数据存储单元152的上一次获取的道路面的亮度和参照部位的亮度，以及上上一次获取的道路面的亮度和参照部位的亮度。然后，从上一次获取的道路面的亮度和参照部位的亮度减去上上一次获取的道路面的亮度和参照部位的亮度，导出道路面的亮度的差值和参照部位的亮度的差值。

然后，白平衡导出单元162判断在参照部位的亮度的差值在维持小于第二预定值的状态(没有发生第二预定值以上变化的状态)下，道路面的亮度的差值是否为第一预定值以上。此时，如果道路面的亮度的差值为第一预定值以上，且上一次的道路面的亮度(变化后的亮度)不是预定颜色(例如灰色(例如R∶G∶B＝128∶128∶128)，则将该道路判断为异色道路。因此，白平衡导出单元162从判断道路为异色道路的、道路面的亮度的变化时间点(准确地来说是掌握了有变化的情况的时间点)开始，直至返回到通常道路的道路面的亮度变为预定颜色为止，维持上一次的(变化之前的)白平衡补偿值。关于白平衡补偿值的维持，通过不更新存储于数据存储单元152的白平衡补偿值来实现。

在此，所述参照部位优选为比较容易出现在检测区域122的对象部位，例如可以是检测区域122内的道路面上的限制行驶路的线(斑马线、中心线、停止线、路缘带等)。对于白平衡补偿而言，取得平衡的颜色越近似于白色，其精度越高。这里，通过参照道路面上比较容易提取的、限制行驶路的线，可以稳定地导出恰当的白平衡补偿值。并且，这样的限制行驶路的线与道路面一起出现在检测区域122的情况较多，如本实施方式一样，适合于同时要求道路面的亮度和参照部位的亮度的构成。

此时，道路面由于邻近于作为参照部位的限制行驶路的线，因此提取为限制行驶路的线的近邻区域。据此，可以特定其形状是难以特定的道路面。

图5为用于白平衡导出单元162的处理的说明图。例如，如图5(a)所示，当行驶在通常道路时，白平衡导出单元162从数据存储单元152读取在行驶中恰当地被特定的作为参照部位的中心线210a的亮度和该中心线210a邻近区域的道路面212a的亮度的过去两次的值。然后，导出其差值。在图5(a)的示例中，道路面212和中心线210a的亮度大致维持恒定，因此哪个差值也不会变为第一预定值或第二预定值以上，白平衡导出单元162将该道路识别为通常道路，更新白平衡补偿值。

并且，如图5(b)所示，当行驶在隧道内时，在该隧道的入口附近处，环境光从太阳光变为照明光，太阳光下的道路面212b的亮度变化为照明光下的道路面212c的亮度。伴随着这种变化，道路面的亮度差值变为第一预定值以上。但是，在此，太阳光下的中心线210b的亮度也变化为照明光下的中心线210c的亮度，其差值变为第二预定值以上。因此，如同图5(a)一样，白平衡导出单元162将该道路识别为通常道路，更新白平衡补偿值。

如图5(c)所示，当行驶在异色道路时，在从通常道路的道路面212d移动到异色道路的道路面212e时，中心线210d的亮度和中心线210e的亮度没有变化，因此亮度的差值维持小于第二预定值。另外，道路面212d的亮度和道路面212e的亮度发生变化，从而亮度差值变为第一预定值以上。并且，变化后的道路面212e的亮度不是灰色。那么，白平衡导出单元162将该道路判断为异色道路，停止白平衡补偿值的更新。即，停止白平衡补偿值的导出，存储在数据存储单元152的白平衡补偿值的上一次值作为当次的白平衡补偿值而直接利用。

并且，在图5(c)中，当从异色道路的道路面212e移动到通常道路的道路面212f时，中心线210e的亮度和中心线210f的亮度不发生变化，因此亮度的差值维持小于第二预定值。另外，道路面212e的亮度和道路面212f的亮度发生变化，亮度的差值变为第一预定值以上。但是，不同于从道路面212d到道路面212e的移动，变化后的道路面212f的亮度为灰色。若判断道路面为灰色，则白平衡导出单元162判断该道路为通常道路，再次开始更新白平衡补偿值。

并且，如图5(d)所示，即使通常道路和异色道路交替布置，白平衡导出单元162如图(c)一样进行处理。即，如果中心线210的亮度的变化为小于第二预定值，道路面212的亮度的变化为第一预定值以上，且道路面212的变化后的亮度不是灰色，则从变化时间点开始直至道路面212的亮度返回至灰色为止，维持变化之前的白平衡补偿值。在此，由于异色道路的区间有多个，因此在任何情况下，都维持白平衡补偿值。

如此，可以利用道路面212的亮度的变化和参照部位(在此为中心线210)的亮度的变化，恰当地检测道路面212的亮度的变化是因针对通常道路的环境光而引起的还是如异色道路一样因道路面本身的着色而引起的。

并且，在本实施方式中，白平衡导出单元162作为亮度变化的具体的判断单元，当道路面212的亮度为最大或最小的色相中每一个的差值之间的差值为第三预定值以上时判断为亮度发生了变化。

例如，假设上上一次检测时的道路面212的亮度(R，G，B)为(100，110，90)，中心线210的亮度(R，G，B)为(190，210，200)，上一次检测时的道路面212的亮度(R，G，B)为(90，110，100)，中心线210的亮度(R，G，B)为(180，200，190)。并且，对于第三预定值而言，关于道路面212预设为“30”，关于中心线210预设为“20”。

此时，道路面212的亮度最大的色相为G，其差值为|110-110|＝0。并且，道路面212的亮度最小的色相为R(上一次检测时)，其差值为|90-100|＝10。因此，最大或最小的色相中每一个的差值之间的差值为|0-10|＝10。并且，中心线210的亮度最大的色相为G，其差值为|200-210|＝10。并且，中心线210的亮度最小的色相为R，其差值为|180-190|＝10。因此，最大或最小的色相中每一个的差值之间的差值为|10-10|＝0。

在此，关于道路面212的最大或最小的色相中每一个的差值之间的差值“10”为小于第三预定值“30”，且关于中心线210的最大或最小的色相中每一个的差值之间的差值“0”为小于第三预定值“20”。因此，白平衡导出单元162判断为道路面212和中心线210都没有变化，由此导出白平衡补偿值。并且，以上，基于容易产生差值的理由，使用亮度最大和最小的色相，但是也可以根据亮度最大与第二大或者亮度最小与第二小的差值之间的差值进行判断。

如此，即使例如太阳光变暗而道路面212和中心线210的亮度多少发生变化，并且即使太阳光逐渐变强或变弱的情况下，可以恰当地导出白平衡补偿值。

白平衡补偿执行单元164对由亮度获取单元16获取的亮度进行基于白平衡补偿值的白平衡补偿而导出补偿亮度。

位置信息获取单元166根据后述的特定物初步确定单元170的控制指令，使用立体视觉法将距离图像126中的检测区域122内的每个区块的视差信息变换为包含水平距离x、高度y以及相对距离z的三维位置信息。在此，视差信息表示距离图像126中的各个对象部位的视差，而三维位置信息表示实际空间中的各个对象部位的相对距离的信息。因此，在使用的术语中，相对距离、高度是指实际空间上的距离，检测距离是指距离图像126上的距离。而且，当视差信息并非以像素单位，而是以区块单位(即，以多个像素为单位)被导出时，该视差信息被视为属于区块的所有像素的视差信息，从而能够执行像素单位的计算。

图6为用于说明通过位置信息获取单元166变换为三维位置信息的说明图。位置信息获取单元166首先将距离图像126识别为如图6所示的像素单位的坐标系。这里，在图6中，将左下角设定为原点(0，0)，横向方向设定为i坐标轴，纵向方向设定为j坐标轴。因此，具有视差dp的像素能够由像素位置i、j和视差dp表示为(i，j，dp)。

将本实施方式中的实际空间上的三维坐标系假设为以车辆1为中心的相对坐标系。在此，将车辆1的行进方向右侧方设定为X轴的正方向，车辆1的上方设定为Y轴的正方向，车辆1的行进方向(前方)设定为Z轴的正方向，经过两个摄像装置110的中央的铅直线和道路表面的交点作为原点(0，0，0)。此时，假设道路为平面时，道路表面与X-Z平面(y=0)一致。位置信息获取单元166通过以下的数学式1～数学式3将距离图像126上的区块坐标(i，j，dp)变换为实际空间上的三维的点坐标(x，y，z)。

x=CD/2+z·PW·(i-IV)   ...数学式1

y=CH+z·PW·(j-JV)     ...数学式2

z=KS/dp                ...数学式3

在此，CD为摄像装置110之间的间隔(基线长度)，PW为每一个像素的视角，CH为摄像装置110自道路表面的布置高度，IV、JV为车辆1的正面方向无限远端的图像上的坐标(像素)，KS为距离系数(KS＝CD/PW)。

因此，位置信息获取单元166基于对象部位的相对距离、与对象部位位于相同的相对距离的道路表面上的点与对象部位之间的在距离图像126上的检测距离，导出自道路表面的高度。

亮度特定单元168参照基于位置信息获取单元166的对象部位的三维坐标，从由亮度获取单元160获取的亮度中提取道路面212和中心线210，特定道路面212的亮度以及作为参照部位的中心线210的亮度。具体而言，亮度特定单元168首先提取中心线210，并将该中心线210的邻近区域作为道路面212。邻近区域为离提取中心线210的亮度的位置小于预定距离的区域，至少为与高度y相关的邻近的区域。然后，为了在下次作为上一次值和上上一次值而被白平衡导出单元162所利用，将特定的道路面212的亮度以及中心线210的亮度存储到数据存储单元152。

并且，在本实施方式中，通过求出检测区域122中的预定的第一部分区域的不同时刻的、道路面212的亮度以及中心线210的亮度，由此导出其变化。但是，并不局限于这种情况，例如可以通过分别求出检测区域122中的预定的第一部分区域和检测区域122中的与第一部分区域沿高度y方向(图像垂直方向)分隔的第二部分区域中的道路面212的亮度以及参照部位的亮度，由此导出其变化。此时，可以同时检测出道路的不同区域(第一部分区域和第二部分区域)，因此即使车辆1处于停车状态，也可以提取道路的亮度的变化。并且，将这种部分区域进一步地设置为多个，计算各自的变化，由此可谋求特定精度的提高。

并且，这里，在道路面212和中心线210的区域中，分别特定一个对象部位的亮度，但是并不局限于这种情况，也可以将作为目标的对象部位周围中的多个对象部位组合之后进行评价，将其平均值特定为亮度。如此，可以抑制亮度的离差，高精度地判断亮度的变化。

并且，亮度特定单元168特定关于与道路面212相当的区域的任意对象部位的亮度，但是也可以基于前行车辆或车辆前方的特定物的位置，将设定其任意的对象部位的范围指定为被限制在铅直方向的预定区域。

图7为用于说明亮度特定单元168的动作的说明图。在图7中，将从本车辆1(检测区域下端)至前行车辆214与本车辆1的检测距离D的中心C的、画出阴影线的区域作为预定区域216。据此，亮度特定单元168特定预定区域216内的道路面212以及中心线210的亮度。

在此，当没有检测出前行车辆或车辆前方的特定物时，将从检测区域122下端至将与无限远点相当的位置与检测区域122下端之间的距离除以2的位置作为预定区域216。如此，通过将设定对象部位的区域限制在预定区域216，可防止亮度的错误检测。

特定物初步确定单元170基于存储在数据存储单元152的特定物表格200，从被白平衡执行单元164执行过白平衡补偿的对象物的补偿亮度初步确定对应于对象物的特定物。

具体来说，特定物初步确定单元170首先使亮度获取单元160获取亮度图像124上的任意对象部位的亮度。接着，特定物初步确定单元170从登记在特定物表格200的特定物顺序地选择出任意的特定物，判断获取的一个对象部位的补偿亮度是否包含于顺序地选择出的特定物的亮度范围202。然后，若包含于成为对象的亮度范围202之内，则对该对象部位赋予表示该特定物的识别号，并制作特定物映射图。

特定物初步确定单位170对于多个对象部位的每一个顺序进行这种各个对象部位的补偿亮度与登记在特定物表格200上的多个特定物的亮度范围202之间的一系列的比较。在此，特定物的选择顺序遵从如上所述地表示在特定物表格200上的优先顺序。即，图4的特定物表格200的例中，以“信号灯(红)”、“信号灯(黄)”、“信号灯(蓝)”、“尾灯(红)”、“转向指示灯(橙)”、“道路标识(红)”、“道路标识(蓝)”、“道路标识(绿)”顺序执行比较处理。

而且，按照所述优先顺序比较的结果，判断为对象部位的补偿亮度包含于优先顺序高的特定物的亮度范围202时，就不会执行有关优先顺序低于它的特定物的比较处理。因此，对于一个对象部位最多赋予一个表示特定物的识别号。这是因为，由于多个特定物不会在空间上重叠，因此由特定物初步确定单元170一旦判断为任意的特定物的对象物就没有必要判断是否会是其他特定物。如此，通过排他性地处理对象部位，能够避免对已经被初步确定为特定物的对象部位的重复的特定处理，从而能够减轻处理负荷。

图8为用于说明特定物映射图220的说明图。特定物映射图220是在亮度图像124中叠加特定物的识别号的图，在相当于被初步确定为特定物的对象部位的位置对应赋予有该特定物的识别号。

例如，特定物映射图220中的局部映射图220a中，相当于前行车辆的尾灯的多个对象部位222的补偿亮度以特定物“信号灯(红)”、“信号灯(黄)”、“信号灯(蓝)”的顺序与亮度范围202进行比较，最终对应赋予有“尾灯(红)”的识别号“4”。而且，特定物映射图220中的局部映射图220b中，相当于信号灯的右侧点亮部分的多个对象部位224的补偿亮度被包含于特定物“信号灯(红)”的亮度范围202，因此对应赋予有特定物“信号灯(红)”的识别号“1”。进一步，特定物映射图220中的局部映射图220c中，相当于前行车辆的背面灯单元的多个对象部位226的补偿亮度以特定物“信号灯(红)”、“信号灯(黄)”、“信号灯(蓝)”的顺序与亮度范围202进行比较，最终对应赋予特定物“尾灯(红)”的识别号“4”以及“转向指示灯(橙)”的识别号“5”。图8中示出亮度图像124的多个对象部位上被赋予识别号的图，但这种表示仅仅是为便于理解的概念性表示，实际上，在对象位置上用数据登记识别号。

群组化单元172以初步确定的任意的对象部位为基准点，将该对象部位和水平距离x的差值以及高度y的差值在预定范围内的、初步确定为对应于相同特定物(被赋予相同的识别号)的对象部位群组化，作为对象物。在此，预定范围用实际空间上的距离表示，且可以设定为任意的值(例如1.0m等)。而且，群组化单元172对于通过群组化而新增加的对象部位，也以该对象部位为基准点，将水平距离x的差值以及高度y的差值在预定范围内的、特定物相同的对象部位群组化。其结果，若被初步确定为同一特定物的对象部位之间的距离在预定范围之内，则这些全部被群组化。

在此，群组化单元172使用实际空间上的水平距离或高度进行判断，但当利用亮度图像124或距离图像126上的检测距离判断时，用于群组化的预定范围的阈值会根据对象部位的相对距离而变化。如图2等所示，亮度图像124或距离图像126中，由于远近的物体都被表示在平面上，因此位于主体的远处的物体被表示得小(短)，位于附近的物体被表示得大(长)。因此，亮度图像124或距离图像126中的预定范围的阈值，例如对于位于远处的对象部位设定的较短，对于位于附近的对象部位设定得较长。由此，在远处和附近的检测距离不同时，也能够实现稳定的群组化。

而且，在上述的水平距离x的差值和高度y的差值的基础上，群组化单元172还可以将相对距离z的差值也处于预定范围之内的、初步确定为对应于同一特定物的对象部位群组化。在实际空间中，即使水平距离x和高度y近似，但相对距离z相隔较远时，可推断为是不同的对象物。因此，当水平距离x、高度y以及相对距离z中的任意一个相隔较远时，将其对象部位的群组视为独立的对象物。由此，能够实现高精度的群组化。

而且，在此分别独立判断水平距离x的差值、高度y的差值以及相对距离z的差值，且仅在所有差值被包含在预定范围时才作为同一群组，但还可以依据其他的计算。例如，当水平距离x的差值、高度y的差值以及相对距离z的差值的欧氏距离被包含于预定范围之内时，也可以作为同一群组。通过所述计算，能够导出对象部位在实际空间上的正确的彼此距离，能够提高群组化精度。

当群组化单元172群组化的对象物满足预定的条件时，特定物确定单元174将该对象物确定为特定物。例如，如图4所示，在特定物表格200中对应赋予有幅度范围204时，特定物确定单元174基于特定物表格200，若对象物的大小(对象物的水平距离x的幅度以及高度y的幅度中的任意一个)被包含于针对对象物初步确定的特定物的幅度范围204之中，则将该对象物确定为成为对象的特定物。并且，可以分别对对象物的水平距离x的幅度以及高度y的幅度设定幅度范围204。在此，将对象物视为特定物时，确认是否具有适当的大小。因此，当未被包含于幅度范围204时，可以作为对于该环境识别处理无用的信息而剔除。

因此，在环境识别装置130中，能够从亮度图像124提取一个或多个对象物作为特定物，并能够将该信息应用于各种控制。例如，通过提取特定物“信号灯(红)”，能够了解到该对象物是不移动的固定的物体的同时，若该对象物是与本车辆车道有关的信号灯，则能够了解本车辆1应停止或减速。而且，通过提取特定物“尾灯(红)”，能够了解该处有与本车辆1共同行使的前行车辆，且该前行车辆的背面位于特定物“尾灯(红)”的相对距离。

当特定物确定单元174所确定的特定物例如为“标识”，且假设其中标记有限制速度时，图案匹配单元176进一步对所标记的数值执行图案匹配，并特定该数值。由此，环境识别装置130能够识别本车辆车道的限制速度等。

在本实施方式中，首先通过特定物确定单元174提取被限定为多个的特定物，并只进行与该提取的特定物的图案匹配即可。因此，与以往的对亮度图像124全面进行图案匹配相比，处理负荷显著地减少。

(环境识别方法)

以下，参照图9至图14的流程图说明环境识别装置130的具体的处理。图9示出关于从图像处理装置120接收到距离图像(视差信息)126时的中断处理的整个流程，图10至图14示出其中的个别的子程序。而且，在此，例举像素作为对象部位，并将亮度图像124和距离图像126的左下角作为原点，且在图像的水平方向的1～600像素、垂直方向的1～200像素的范围执行依照该环境识别方法的处理。而且，在此，假设成为对象的特定物的数量为八个。进一步，作为参照部位假设可以举出利用中心线210的例子。

如图9所示，以距离图像126的接收信号为契机，产生依照该环境识别方法的中断时，导出白平衡补偿值，以能够将道路面的亮度识别为预定颜色(灰色)(S300)，从图像处理装置120获取的亮度图像124由该白平衡补偿值补偿而生成特定物映射图(S302)。

然后，初步确定的对象物被群组化(S304)，被群组化的对象物被确定为特定物(S306)。若有必要从被确定的特定物进一步获取信息，则通过图案匹配单元176执行特定物的图案匹配(S308)，并特定用于白平衡补偿值导出处理S300的道路面212和中心线210的亮度(S310)。以下，具体说明上述的处理。

(白平衡补偿值导出处理S300)

参照图10，白平衡导出单元162首先读取存储在数据存储单元152的上一次获得的道路面212的亮度以及中心线210的亮度和上上一次获得的道路面212的亮度以及中心线210的亮度(S350)。然后，从上一次获得的道路面212的亮度以及中心线210的亮度减去上上一次获得的道路面212的亮度以及中心线210的亮度，从而导出道路面212的亮度的差值以及中心线210的亮度的差值。

接着，白平衡导出单元162判断道路面212的亮度的差值为第一预定值以上，中心线210的亮度的差值为小于第二预定值，且上一次的道路面212的亮度不是预定颜色(例如灰色)的情况(S354)。此时，如果道路面212的亮度的差值为第一预定值以上，中心线210的亮度的差值为小于第二预定值，且上一次的道路面212的亮度不是预定颜色(例如灰色)，则白平衡导出单元162开启(ON)异色道路标志(S356)，维持上一次的白平衡补偿值(S358)。在此，异色道路标志为表示异色道路的标志，移动到异色道路之后，直至返回到通常道路为止一直维持。

并且，如果不满足道路面212的亮度的差值为第一预定值以上、中心线210的亮度的差值为小于第二预定值、上一次的道路面212的亮度不是预定颜色(例如灰色)中的任意一个条件(S354中的“否”)，则判断异色道路标志被开启(ON)，且上一次的道路面212的亮度不是预定颜色(例如灰色)的情况(S360中的“是”)。此时，如果异色道路标志被开启，且上一次的道路面212的亮度不是预定颜色(例如灰色)(S360中的“是”)，则白平衡导出单元162识别为异色道路继续存在，维持上一次的白平衡补偿值(S358)。即，不进行存储于数据存储单元152的白平衡补偿值的更新。

并且，如果不满足异色道路标志被开启、上一次的道路面212的亮度不是预定颜色(例如灰色)中的任意一个条件(S360中的“否”)，则识别为移动到了通常道路，关闭(OFF)异色道路标志(S362)。然后，白平衡导出单元162读取存储在数据存储单元152的上一次获得的道路面212的亮度，导出白平衡补偿值(S364)。例如，白平衡导出单元162求出道路面的每个色相的亮度的最大值，将使与亮度为最大值的色相不同的色相的亮度变成最大值的比率设为白平衡补偿值。然后，将被导出的白平衡补偿值存储到数据存储单元152。

(特定物映射图生成处理S302)

参照图11，白平衡执行单元164从数据存储单元152读取由白平衡导出单元162导出的白平衡补偿值(S400)。特定物初步确定单元170初始化(代入“0”)用于特定对象部位(像素)的垂直变量j(S402)。接着，特定物初步确定单元170在垂直变量j上加“1”(累加)的同时初始化水平变量i(代入“0”)(S404)。然后，特定物初步确定单元170在水平变量上加“1”，并初始化特定物变量m(代入“0”)(S406)。在此，设定水平变量i和垂直变量j是为了对整个600×200的像素执行该特定物映射图生成处理，设定特定物变量m是为了对每个像素顺序地比较八个特定物。

接着，白平衡执行单元164向由亮度获取单元160获取的亮度实施基于白平衡补偿值的白平衡补偿而导出补偿亮度(S408)。

特定物初步确定单元170使亮度获取单元160从亮度图像124中获得作为对象部位的像素(i，j)的补偿亮度(S410)，并在特定物变量m中加“1”(S412)，获得特定物(m)的亮度范围202(S414)，并判断像素(i，j)是否被包含在特定物(m)的亮度范围202(S416)。

若像素(i，j)的补偿亮度被包含于特定物(m)的亮度范围202(S416的“是”)，则特定物初步确定单元170对于该像素对应地赋予表示特定物(m)的识别号p而变成像素(i，j，p)(S418)。由此，生成对亮度图像124中的各个像素赋予识别号的特定物映射图210。而且，若像素(i，j)的补偿亮度未包含在特定物(m)的亮度范围202(S416的“否”)，则判断特定物变量m是否超过作为特定物的最大数量的8(S420)。在此，若特定物变量m并未超过最大值(S420的“否”)，则从步骤S412的特定物变量m的累加处理开始重复执行。而且，若特定物变量m超过最大值(S420的“是”)，则认为对应于该像素(i，j)的特定物不存在，处理转到下一步骤S422。

接着，特定物初步确定单元170判断水平变量i是否超过作为水平像素的最大值的600(S422)，若水平变量i并没有超过最大值(S422的“否”)，则从步骤406的水平变量i的累加处理开始重复执行。而且，若水平变量i超过最大值(S422中的“是”)，则特定物初步确定单元170判断垂直变量j是否超过作为垂直像素的最大值的200(S424)。接着，若垂直变量j并没有超过最大值(S424的“否”)，则从步骤S404的垂直变量j的累加处理开始重复执行。而且，若垂直变量j超过最大值(S424的“是”)，则终止该特定物映射图的生成处理。据此，初步确定对应于各个像素的特定物。

(群组化处理S304)

参照图12，群组化单元172参照用于群组化对象部位的预定范围(S450)，初始化(代入“0”)用于特定对象部位(像素)的垂直变量j(S452)。接着，群组化单元172在垂直变量j上加“1”的同时初始化(代入“0”)水平变量i(S454)。接着，群组化单元172在水平变量i上加“1”(S456)。

群组化单元172从亮度图像124获取作为对象部位的像素(i，j，p，dp，x，y，z)(S458)。然后，判断该像素(i，j，p，dp，x，y，z)上是否对应赋予特定物的识别号p(S460)。在此，若对应赋予识别号p(S460的“是”)，则群组化单元172判断在该像素(i，j，p，dp，x，y，z)的实际空间上的坐标(x，y，z)的预定范围之内是否存在对应赋予相同的识别号p的其他像素(i，j，p，dp，x，y，z)(S462)。

若存在识别号相同的其他像素(i，j，p，dp，x，y，z)(S462的“是”)，则群组化单元172判断包括自身的预定范围内的所有像素的任意像素是否被赋予了群组号g(S464)。若任意一个像素被赋予群组号g(S464中的“是”)，则群组化单元172对于包含于预定范围内的所有像素及被赋予相同的群组号g的所有像素，赋予所赋予的群组号中最小的群组号g以及还没有用作群组号的号中的最小值中的相对小的一个值，从而变成像素(i，j，p，dp，x，y，z，g)(S466)。而且，若任意一个像素均未被赋予群组号g(S464的“否”)，则对包含自身的预定范围内的所有像素新赋予还没有用作群组号的号中的最小值(S468)。

由此，当识别号相同的对象部位在预定范围之内存在多个时，通过赋予一个群组号g而执行群组化。此时，当多个对象部位的任意一个均未被赋予群组号g时，赋予新的群组号，当多个对象部位的某些已经被赋予群组号g时，赋予与此相同的群组号g。但是，当多个对象部位中存在多个群组号g时，因为应视为一个群组，因此将该对象部位的所有的群组号g置换为一个群组号g。

此时，不仅对被包含于预定范围之内的所有的像素，还对被赋予相同的群组号g的所有像素的群组号g进行一次性变更的理由在于：通过群组号g的变更，避免已经被统一的群组分离。而且，在最小的群组号g以及还未用作群组号的号中的最小值中采用相对小的一个值的理由在于：对组标号时，尽可能避免出现空号。据此，防止群组号g的最大值无端地变大，从而能够减轻处理负荷。

若没有对应赋予识别号p(S460的“否”)，或者不存在识别号p相同的其他像素(S462的“否”)，则转移到下一步骤S470。

接着，群组化单元166判断水平变量i是否超过作为水平像素的最大值的600(S470)，若水平变量i并没有超过最大值(S470的“否”)，则从步骤S456的水平变量i的累加处理开始重复执行。而且，若水平变量i超过最大值(S470的“是”)，则群组化单元166判断垂直变量j是否超过作为垂直像素的最大值的200(S472)。然后，若垂直变量j没有超过最大值(S472中的“否”)，则从步骤S454的垂直变量j的累加处理开始重复。而且，若垂直变量j超过最大值(S472的“是”)，则终止该群组化处理。

(特定物确定处理S306)

参照图13，特定物确定单元174初始化(代入“0”)用于特定群组的群组变量k(S500)。接着，特定物确定单元174在群组变量k上加“1”(S502)。

特定物确定单元174判断亮度图像124中是否存在群组号g为群组变量k的对象物(S504)，若存在(S504的“是”)，则计算被赋予该群组号g的对象物的大小(S506)。接着，判断所计算出的大小是否被包含在以对群组号g为群组变量k的对象物对应赋予的识别号p表示的特定物的幅度范围204(S508)。

若大小被包含于以识别号p表示的特定物的幅度范围204(S508的“是”)，则特定物确定单元174将该对象物确定为特定物(S510)。若大小未包含于以识别号p表示的特定物的幅度范围204(S508的“否”)，或不存在群组号g为群组变量k的对象物时(S504的“否”)，处理转移到下一步骤S512。

接着，特定物确定单元174判断群组变量k是否超过群组化处理中设定的群组号的最大值(S512)。然后，若群组变量k没有超过最大值(S512中的“否”)，则从步骤S502的群组变量k的累加处理开始重复执行。而且，若群组变量k超过最大值(S512中的“是”)，则终止该特定物确定处理。据此，被群组化的对象物正式被确定为特定物。

(白平衡准备处理S310)

参照图14，亮度特定单元168基于前行车辆或车辆1前方的特定物的位置导出被限制在铅直方向的预定区域216，并将该预定区域216内的道路面212的任意的对象部位设定为检测对象(S550)。接着，亮度特定单元168参照基于位置信息获取单元166的对象部位的相对距离，从由亮度获取单元160获取的亮度中提取道路面212以及中心线210，并特定道路面212的亮度以及作为参照部位的中心线210的亮度(S552)。然后，为了在下次由白平衡导出单元162所利用，将被特定的道路面212的亮度以及中心线210的亮度存储到数据存储单元152(S554)。

如上所述，根据环境识别装置130，能够高精度地检测出道路面的亮度的变化是因环境光而引起的还是因道路面212本身的着色而引起的，而且能够在避免随之而产生的响应延迟的情况下，恰当地实现白平衡补偿。

而且，还提供使计算机执行环境识别装置130的功能的程序或记录该程序的计算机可读软盘、光磁盘、ROM、CD、DVD、BD等记录介质。在此，程序是利用任意的语言或记述方法记述的数据处理方法。

以上的说明中，参照附图对本发明的优选实施方式进行了说明，但是本发明并不局限于已说明的实施方式。本发明所属领域的技术人员应知道在权利要求书所记载的范畴之内导出各种变更例或修改例是显而易见的，但显然这些都属于本发明的技术范围。

在上述的实施方式中，首先排他性地将对象部位的补偿亮度与任意一个特定物赋予对应，然后判断将对象部位群组化的对象物的大小作为特定物是否恰当。但是，不限于这种情况，也可以将特定物、补偿亮度、大小中的任意一个作为基准进行判断，且其判断顺序也可以任意地设定。

而且，在上述实施例中，基于利用多个摄像装置110的图像数据之间的视差导出对象物的三维位置，但并不局限于所说明的情况，例如，可以利用激光雷达测距装置等已知的各种距离测量装置。在此，激光雷达测距装置通过向检测区域122发射激光光束，并接收该激光光束到达物体之后反射的光，从而根据所需时间测量至物体的距离。

而且，在上述的实施方式中，举出位置信息获取单元166从图像处理装置120接收距离图像(视差信息)126而生成三维位置信息的例子。但是，并不局限于所说明的情况，也可以由图像处理装置120预先生成三维的位置信息，再由位置信息获取单元166获取所生成的三维位置信息。据此，实现功能的分散，能够减轻环境识别装置130的处理负荷。

并且，在上述的实施方式中，亮度获取单元160、白平衡导出单元162、白平衡执行单元164、位置信息获取单元166、亮度特定单元168、特定物初步确定单元170、群组化单元172、特定物确定单元174、图案匹配单元176由中央控制单元154通过软件运行。但是，上述的功能单元也可以由硬件构成。

并且，特定物确定单元174基于例如对象物的大小被包含于特定物的幅度范围202的情况来确定特定物，但并不局限于此，也可以在满足其他各种条件时确定为特定物。例如，对象物中的水平方向和铅直方向的相对距离z的推移几乎相等(连续)时或相对于z坐标的相对移动速度相同时确定为特定物。此时，对象物中的水平方向及铅直方向的相对距离z的推移可根据借助霍夫变换或最小平方法的近似直线确定。

在此，本说明书中的环境识别方法的各个步骤并不一定要按照流程图中记载的顺序按时间顺序进行处理，也可以包含并行处理或通过子程序的处理。

产业上的可利用性

本发明可利用于基于检测区域中的对象物的亮度来识别该对象物的环境识别装置及环境识别方法。

Claims (11)

1.一种环境识别装置，其特征在于，包括：

数据存储单元，对应地存储亮度的范围和特定物；

亮度获取单元，获取存在于检测区域内的对象部位的亮度；

亮度特定单元，从所获取的所述亮度中特别指定道路面的亮度以及所述道路面以外的预定的参照部位的亮度；

白平衡导出单元，导出白平衡补偿值，以使所述道路面的亮度能够被识别为预定颜色；

白平衡执行单元，对所获取的所述亮度实施基于所述白平衡补偿值的白平衡补偿而导出补偿亮度；

特定物初步确定单元，基于所述数据存储单元所存储的对应关系，从所述对象部位的补偿亮度初步确定对应于所述对象部位的特定物，

当在所述参照部位的亮度变化没有达到第二预定值以上的状态下，所述道路面的亮度变化达到第一预定值以上，且所述道路面的变化后的亮度不是所述预定颜色时，所述白平衡导出单元从变化时间点开始至所述道路面的亮度返回到所述预定颜色为止维持变化之前的白平衡补偿值。

2.如权利要求1所述的环境识别装置，其特征在于，所述参照部位为所述检测区域内的道路面上的限制行驶路的线。

3.如权利要求2所述的环境识别装置，其特征在于，所述道路面基于所述参照部位设为所述参照部位的邻近区域。

4.如权利要求1至3中任意一项所述的环境识别装置，其特征在于，所述白平衡导出单元通过求出所述检测区域中的预定的第一部分区域的不同时刻的、所述道路面的亮度以及所述参照部位的亮度而导出道路面的亮度以及参照部位的亮度的变化。

5.如权利要求1至3中任意一项所述的环境识别装置，其特征在于，所述白平衡导出单元通过分别求出所述检测区域中的预定的第一部分区域和所述检测区域中的与所述第一部分区域沿高度方向分隔的第二部分区域的所述道路面的亮度以及所述参照部位的亮度而导出道路面的亮度以及参照部位的亮度的变化。

6.如权利要求1至3中任意一项所述的环境识别装置，其特征在于，当所述道路面的亮度变为最大的色相的差值与所述道路面的亮度变为最小的色相的差值之间的差值为第三预定值以上时，所述白平衡导出单元判断为亮度发生了变化。

7.如权利要求1至3中任意一项所述的环境识别装置，其特征在于，所述白平衡导出单元求出所述道路面的色相中的亮度的最大值，并将所述道路面的色相中的亮度的最大值与每个色相的亮度的比率设为所述白平衡补偿值。

8.如权利要求1至3中任意一项所述的环境识别装置，其特征在于，所述白平衡导出单元求出所述道路面的色相中的亮度为第二大的值，并将所述第二大的值与每个色相的亮度的比率设为所述白平衡补偿值。

9.如权利要求1至3中任意一项所述的环境识别装置，其特征在于，所述白平衡导出单元求出所述道路面的色相中的亮度的最小值，并将所述最小值与每个色相的亮度的比率设为所述白平衡补偿值。

10.如权利要求1至3中任意一项所述的环境识别装置，其特征在于，所述亮度特定单元从所述检测区域内的、基于先行车辆或车辆前方的特定物的位置而被限制在铅直方向的预定区域中特别指定所述道路面的亮度和所述参照部位的亮度。

11.一种环境识别方法，其特征在于，

获取存在于检测区域内的对象部位的亮度；

从所获取的所述亮度中特别指定道路面的亮度以及所述道路面以外的预定的参照部位的亮度；

当在所述参照部位的亮度变化没有达到第二预定值以上的状态下，所述道路面的亮度变化达到第一预定值以上，且所述道路面的变化后的亮度不是预定颜色时，从变化时间点开始至所述道路面的亮度返回到所述预定颜色为止维持变化之前的白平衡补偿值，而在除此之外的情况下，导出白平衡补偿值，以使所述道路面的亮度被识别为预定颜色；

对所获取的所述亮度实施基于所述白平衡补偿值的白平衡补偿而导出补偿亮度；

基于数据存储单元所存储的亮度的范围与特定物之间的对应关系，从所述对象部位的补偿亮度初步确定对应于所述对象部位的特定物。