CN102774341B - 环境识别装置及环境识别方法 - Google Patents

Abstract

本发明涉及一种环境识别装置及环境识别方法，以提高对象物的特定精度。环境识别装置（130），从对象部位的亮度初步确定对应于对象部位的特定物（S302），对初步确定为对应于同一特定物的相邻的对象部位进行群组化而作为对象物（S304），导出作为对象物的各个对象部位的相对距离的代表值的代表距离（S306），将自对象物的水平距离的差值及高度的差值处于第一预定范围内，且相对距离和代表距离的差值处于第二预定范围内的、在亮度方面与该对象物对应于同一特定物的对象部位作为该对象物而进行群组化（S308）。

Description

环境识别装置及环境识别方法

技术领域

本发明涉及基于检测区域的对象物的亮度识别该对象物的环境识别装置及环境识别方法。

背景技术

以往，检测位于本车辆前方的车辆或信号灯等所谓障碍物的对象物，并对本车辆进行控制以避免与所检测出的对象物发生碰撞或使本车辆与前行车辆的车距保持在安全距离的技术已被为人所知（例如，专利文献1、2）。

而且，在这种技术中，不仅将对象物一律特定为物体，而且为了进行更高精度的控制，还存在判断对象物是以与本车辆相同的速度行驶的前行车辆，还是不移动的被固定的物体等的技术。在此，当通过对检测区域的拍摄而检测出对象物时，在特定对象物为何物之前，应从所拍摄的图像中提取（剪切）对象物本身。

例如，当所拍摄的图像为彩色图像时，可以采用将具有相同的亮度（颜色）的像素群组化并作为对象物进行提取的方法。

现有技术文献

专利文献

专利文献１：日本专利第３３４９０６０号

专利文献２：日本特开平１０－２８３４６１号公报

但是，若仅仅简单地群组化具有相同的颜色特性的多个像素，则当发光标识或电子告示板中表示出的文字或图形与信号灯的点亮部分的颜色或大小近似时，有可能将这些文字或图形误认为是信号灯。而且，即便是大于信号灯的点亮部分的显示器，根据其显示状态，所显示的文字或图形未必会连续，在分别区分并群组化后，有可能无法识别为是显示于同一物体的部分。

发明内容

本发明是鉴于这种课题而提出的，其目的在于提供一种提高对象物的特定精度的环境识别装置及环境识别方法。

为了达到目的，本发明的环境识别装置，包括：数据存储单元，将亮度范围和特定物对应而存储；亮度获取单元，获取检测区域内的对象部位的亮度；特定物初步确定单元，基于存储于数据存储单元的对应关系，从对象部位的亮度初步确定对应于对象部位的特定物；对象部位群组化单元，对初步确定为对应于同一特定物的相邻的对象部位进行群组化而作为对象物；位置信息获取单元，获取对象部位的相对距离；代表距离导出单元，导出作为对象物的各个对象部位的相对距离的代表值的代表距离；对象物群组化单元，将自对象物的水平距离的差值及高度的差值处于第一预定范围内，且相对距离和代表距离的差值处于第二预定范围内的、在亮度方面与该对象物对应于同一特定物的对象部位作为该对象物而进行群组化。

在处于第一预定范围内及第二预定范围内的多个对象部位互为相邻，且其数量达到预定数量以上时，对象物群组化单元可以对多个对象部位作为对象物而群组化。

对象物群组化单元可以将作为对象物而群组化的对象部位的相对距离视为代表距离，并以对象部位为基准点，将满足条件的其他对象部位进一步作为该对象物而进行群组化。

对象物群组化单元可以在相对于处于第一预定范围内以及第二预定范围内的对象部位的水平距离的相对距离的倾斜度以及相对于高度的相对距离的倾斜度与对象物的各个对象部位形成直线关系时，作为该对象物而进行群组化。

对象物群组化单元可以在相对于处于第一预定范围内以及第二预定范围内的对象部位的水平距离的相对距离的倾斜度以及相对于高度的相对距离的倾斜度与对象物的各个对象部位形成高次曲线关系时，作为该对象物而进行群组化。

代表距离可以是与对象物内的对象部位的距离分布的顶点相当的相对距离。

代表距离可以为对象物内的对象部位的相对距离的平均值。

为了达到目的，本发明的环境识别方法，包括：获取检测区域内的对象部位的亮度；获取对象部位的相对距离；基于存储于数据存储单元的亮度的范围和特定物的对应关系，从对象部位的亮度初步确定对应于对象部位的特定物；对初步确定为对应于同一特定物的相邻的对象部位进行群组化而作为对象物；导出作为对象物的各个对象部位的相对距离的代表值的代表距离；将自对象物的水平距离的差值及高度的差值处于第一预定范围内，且相对距离和代表距离的差值处于第二预定范围内的、在亮度方面与该对象物对应于同一特定物的对象部位作为该对象物而进行群组化。

根据本发明，能够提高对象物的特定精度，因此能够防止错误识别。

附图说明

图1为示出环境识别系统的连接关系的方框图。

图2为用于说明亮度图像和距离图像的说明图。

图3为示出环境识别装置的概略的功能的功能方框图。

图4为用于说明特定物表格的说明图。

图5为用于说明通过位置信息获取单元变换为三维位置信息的说明图。

图6为用于说明特定物映射图的说明图。

图7为用于说明对象部位群组化单元的处理的说明图。

图8为用于说明对象物群组化单元的处理的说明图。

图9为示出环境识别方法的整个流程的流程图。

图10为示出特定物映射图生成处理的流程的流程图。

图11为示出对象部位群组化处理的流程的流程图。

图12为示出代表距离导出处理的流程的流程图。

图13为示出对象物群组化处理的流程的流程图。

图14为示出特定物确定处理的流程的流程图。

主要符号说明

1：车辆

122：检测区域

124：亮度图像

126：距离图像

130：环境识别装置

152：数据存储单元

160：亮度获取单元

162：位置信息获取单元

164：特定物初步确定单元

166：对象部位群组化单元

168：代表距离导出单元

170：对象物群组化单元

172：特定物确定单元

200：特定物表格

202：亮度范围

204：幅度范围

210：特定物映射图

具体实施方式

以下，参照附图详细说明本发明的优选实施方式。所涉及的实施方式中所示的尺寸、材料、其他具体数值等仅仅是为容易地理解发明而例示的，除了特别指定的情况之外，并不能用来限定本发明。在此，本说明书及附图中，对于具有实质上相同的功能、结构的要素通过赋予相同的符号的方式省略重复性说明，而且对与本发明没有直接关系的要素省略了图示。

（环境识别系统100）

图1为示出环境识别系统的连接关系的方框图。环境识别系统100包括设置在车辆1内的多个（本实施方式中为两个）摄像装置110、图像处理装置120、环境识别装置130、车辆控制装置140。

摄像装置110包含电荷耦合器件（CCD，Charge-Coupled Device）或互补金素氧化半导体（CMOS，Complementary Metal-Oxide Semiconductor）等摄像器件，能够获取彩色图像，即，像素单位中可获取三个色相（红、绿、蓝）的亮度。在本实施方式中，把颜色和亮度同等看待，在同一篇文章中包含这两个术语时，可以相互交替读取为构成颜色的亮度，或者是具有亮度的颜色。在此，由摄像装置110所拍摄的彩色图像称为亮度图像，区别于后述的距离图像。而且，摄像装置110为两个，两个摄像装置110在大致水平方向分开布置，以在车辆1的行进方向侧两个摄像装置110各自的光轴大致平行。摄像装置110每隔例如1/60秒（60fps）连续生成拍摄存在于车辆1前方的检测区域的对象物的图像数据。在此，对象物不仅包括车辆、信号灯、道路、护栏等独立存在的立体物体，还包括尾灯或转向指示灯、信号灯的各个照明部分等能够确定为立体物的部分的物体。在以下实施方式中的各个功能单元以这种图像数据的更新为契机执行各种处理。

图像处理装置120从两个摄像装置110分别获取图像数据，并基于两个图像数据导出包含图像中的任意区块（集合预定数量的像素的区块）的视差以及示出任意区块在画面中的位置的画面位置的视差信息。图像处理装置120采用从另一个像素数据搜索对应于从一个图像数据任意抽出的区块（例如，水平4像素×垂直4像素的阵列）的区块的所谓的图案匹配而导出视差。在此，水平是指所拍摄的图像的画面横向方向，相当于实际空间中的水平方向。而且，垂直是指所拍摄的图像的画面纵向方向，相当于实际空间中的竖直方向。

所述图案匹配是指，在两个图像数据之间以示出任意图像位置的区块单位比较亮度值（Y色差信号）的方法。例如，包括求出亮度值的差值的绝对差值和（SAD，Sum of Absolute Difference）、将差值平方后使用的差值的平方和（SSD，Sum of Squared intensity Difference）、求出从各个像素的亮度值减去了平均值的分散值的相似度的归一化互相关（NCC，Normalized CrossCorrelation）等方法。图像处理装置120对于被显示在检索区域（例如，600像素×200像素）的全部区块执行这种区块单位的视差导出处理。在此，将区块设定为4像素×4像素，但区块内的像素数量可以任意地设定。

但是，在图像处理装置120中，虽然对作为检测分辨率的单位的每个区块能够导出视差，但无法识别该区块是哪种对象物的一部分。因此，视差信息不是对象物单位，而是作为检测区域的检测分辨率单位（例如区块单位）而被独立地导出。在此，将如此导出的视差信息（相当于后述的相对距离）映射到图像数据的图像称为距离图像。

图2为用于说明亮度图像124和距离图像126的说明图。例如，假设通过两个摄像装置110针对检测区域122生成图2（a）所示的亮度图像（图像数据）124。但是，在此，为了便于理解，仅模式性地示出两个亮度图像124中的一个。在本实施方式中，图像处理装置120从这种亮度图像124求出每个区块的视差，从而形成图2（b）所示的距离图像126。对于距离图像126中的各个区块来说，其区块的视差相互关联。在此，为了便于说明，将导出视差的区块以黑点表示。

对于视差来说，容易在图像的边缘部分（相邻像素之间明暗的差值较大的部分）被特定，因此在距离图像126中，赋予黑点的、导出视差的区块在亮度图像124中也大多形成边缘。因此，图2（a）所示的亮度图像124和图2（b）所示的距离图像126在各个对象物的轮廓上相互近似。

环境识别装置130从图像处理装置120获得亮度图像124和距离图像126，并利用基于亮度图像124的亮度和基于距离图像126的与本车辆1的相对距离特定检测区域122中的对象物对应于哪种特定物。这时，环境识别装置130利用所谓的立体视觉法将距离图像126中的检测区域122内的每个区块的视差信息变换为包含相对距离的三维位置信息。在此，立体视觉法是通过使用三角测量法从对象物的视差导出该对象物相对于摄像装置110的相对距离的方法。对于环境识别装置130将在后面详述。

车辆控制装置140执行避免本车辆与通过环境识别装置130特定的对象物碰撞或使本车辆与前行车辆的车间距保持在安全距离的控制。具体来说，车辆控制装置140通过用于检测方向盘角度的舵角传感器142和用于检测车辆1的速度的车速传感器144等获得当前的车辆1的行驶状态，并通过控制致动器146将车辆1与前行车辆的车间距保持在安全距离。在此，致动器146是用于控制刹车、节气阀、舵角等的车辆控制用致动器。而且，当推断出将与对象物产生碰撞时，车辆控制装置140在设置在驾驶者前方的显示器148进行相应警告显示（报警）的同时，控制致动器146使车辆1自动地减速。车辆控制装置140也可以与环境识别装置130形成为一体。

（环境识别装置130）

图3为示出环境识别装置130的概略的功能的功能方框图。如图3所示，环境识别装置130包括I/F单元150、数据存储单元152、中央控制单元154。

I/F单元150是用于使图像处理装置120和车辆控制装置140进行双向信息交换的接口。数据存储单元152由RAM、闪存、HDD等构成，以用于保存特定物表格（对应关系）或以下所示各个功能单元的处理中所必要的各种信息，而且暂时保存从图像处理装置120接收的亮度图像124、距离图像126。在此，特定物表格的使用方式如下。

图4为用于说明特定物表格200的说明图。特定物表格200中，针对多个特定物对应有表示亮度的范围的亮度范围202、表示特定物的大小范围的幅度范围204。在此，作为特定物，可假设“信号灯（红）”、“信号灯（黄）”、“信号灯（蓝）”、“尾灯（红）”、“转向指示灯（橙）”、“道路标识（红）”、“道路标识（蓝）”、“道路标识（绿）”等在道路上行驶时有必要目视的各种物体。当然，特定物并不局限于图4所示的物体。而且，特定物表格200中，特定物的特定具有优先顺序，该环境识别处理依照该优先顺序，对于从特定物表格200中的多个特定物中依次选择出的每一个特定物执行。特定物中，例如，特定物“信号灯（红）”对应的亮度（红）为“150以上”，亮度（绿）为“100以下”，亮度（蓝）为“50以下”，幅度范围为“0.2~0.4m”。

在本实施方式中，基于特定物表格200，在亮度图像124内的任意对象部位中满足有关任意特定物的亮度范围202条件的对象部位成为特定物的候补。例如，当对象部位的亮度被包含于特定物“信号灯（红）”的亮度范围202之内时，将该对象部位作为特定物“信号灯（红）”的候补。而且，将对象部位群组化的对象物被提取为类似特定物的形态时，例如，被群组化的对象物的大小被包含在“信号灯（红）”的幅度范围“0.2~0.4m”之内时，被判断为特定物。被判断为特定物的对象部位通过特定物固有的识别号被标记。在此，对象部位假设为像素或集合像素的区块，但本实施方式中，为了便于说明，假设为像素。

中央控制单元154由包括中央处理器（CPU）、存储程序等的ROM、作为工作区的RAM等的半导体集成电路构成，通过系统总线156控制I/F单元150和数据存储单元152。而且，在本实施方式中，中央控制单元154具有作为亮度获取单元160、位置信息获取单元162、特定物初步确定单元164、对象部位群组化单元166、代表距离导出单元168、对象物群组化单元170、特定物确定单元172、图案匹配单元174的功能。

亮度获取单元160根据后述的特定物初步确定单元164的控制指令，从接收的亮度图像124以对象部位（像素）单位获取亮度（在像素单位中获取三个色相（红、绿、蓝）的亮度）。这时，当检测区域处于例如雨天或阴天时，亮度获取单元160也可以调整白平衡之后获取亮度，以能够获取原始的亮度。

位置信息获取单元162根据后述的代表距离导出单元168的控制指令，使用立体视觉法将距离图像126中的检测区域122内的每个区块的视差信息变换为包含水平距离x、自道路表面的高度y以及自本车辆1的相对距离z的三维位置信息。在此，视差信息表示距离图像126中的各个对象部位的视差，而三维位置信息表示实际空间中的各个对象部位的相对距离的信息。因此，当使用所谓水平距离、高度、相对距离的术语时，指实际空间上的距离，当使用所谓检测距离的术语时，指距离图像126上的距离。而且，当视差信息并非以像素单位，而是以区块单位（即，以多个像素为单位）被导出时，该视差信息被视为属于区块的所有像素的视差信息，从而能够执行像素单位的计算。

图5为用于说明通过位置信息获取单元162变换为三维位置信息的说明图。位置信息获取单元162首先将距离图像126识别为如图5所示的像素单位的坐标系。在此，图5中，将左下角设定为原点（0,0），横向方向设定为i坐标轴，纵向方向设定为j坐标轴。因此，具有视差dp的像素能够由像素位置i、j和视差dp表示为（i，j，dp）。

将本实施方式中的实际空间上的三维坐标系假设为以车辆1为中心的相对坐标系。在此，将车辆1的行进方向右侧方设定为X轴的正方向，车辆1的上方设定为Y轴的正方向，车辆1的行进方向（前方）设定为Z轴的正方向，经过两个摄像装置110的中央的铅直线和道路表面的交点作为原点（0，0，0）。此时，假设道路为平面时，道路表面与X-Z平面（y=0）一致。位置信息获取单元162通过以下的数学式1~数学式3将距离图像126上的区块坐标（i，j，dp）变换为实际空间上的三维的点坐标（x，y，z）。

ｘ＝ＣＤ／２＋ｚ·ＰＷ·（ｉ－ＩＶ）…数学式１

ｙ＝ＣＨ＋ｚ·ＰＷ·（ｊ－ＪＶ）…数学式２

ｚ＝ＫＳ／ｄｐ…数学式３

在此，CD为摄像装置110之间的间隔（基线长度），PW为每一个像素的视角，CH为摄像装置110自道路表面的布置高度，IV、JV为车辆1的正面方向无限远端的图像上的坐标（像素），KS为距离系数（KS=CD/PW）。

特定物初步确定单元164基于存储在数据存储单元152的特定物表格200，从对象物的亮度初步确定对应于对象物的特定物。

具体来说，特定物初步确定单元164首先使亮度获取单元160获取亮度图像124上的任意对象部位的亮度。接着，特定物初步确定单元164从登记在特定物表格200的特定物顺序地选择出任意的特定物，判断获取的一个对象部位的亮度是否包含于顺序地选择出的特定物的亮度范围202。然后，若对象部位的亮度包含于成为对象的亮度范围202之内，则将该对象部位初步确定为特定物，并对该对象部位赋予表示该特定物的识别号，并制作特定物映射图。

特定物初步确定单位164对于多个对象部位的每一个顺序进行这种各个对象部位的亮度与登记在特定物表格200上的多个特定物的亮度范围202之间的一系列的比较。在此，特定物的选择顺序遵从如上所述地表示在特定物表格200上的优先顺序。即，图4的特定物表格200的例中，以“信号灯（红）”、“信号灯（黄）”、“信号灯（蓝）”、“尾灯（红）”、“转向指示灯（橙）”、“道路标识（红）”、“道路标识（蓝）”、“道路标识（绿）”顺序执行比较处理。

而且，按照所述优先顺序比较的结果，当判断为对象部位的亮度包含于优先顺序高的特定物的亮度范围202时，就不会执行有关优先顺序低于它的特定物的比较处理。因此，对于一个对象部位最多赋予一个表示特定物的识别号。这是因为，由于多个特定物不会在空间上重叠，因此由特定物初步确定单元164一旦判断为任意的特定物的对象物就没有必要判断是否会是其他特定物。如此，通过排他性地处理对象部位，能够避免对已经被初步确定为特定物的对象部位的重复的特定处理，从而能够减轻处理负荷。

图6为用于说明特定物映射图210的说明图。特定物映射图210是在亮度图像124中叠加特定物的识别号的图，在相当于被初步确定为特定物的对象部位的位置映射有该特定物的识别号。

例如，特定物映射图210中的局部映射图210a中，相当于前行车辆的尾灯的多个对象部位212的亮度以特定物“信号灯（红）”、“信号灯（黄）”、“信号灯（蓝）”、特定物“尾灯（红）”的顺序与亮度范围202进行比较。其结果，由于被包含于特定物“尾灯（红）”的亮度范围202，因此被对应赋予特定物“尾灯（红）”的识别号“4”。而且，特定物映射图210中的局部映射图210b中，相当于信号灯的右侧点亮部分的多个对象部位214的亮度被包含于特定物“信号灯（红）”的亮度范围202，因此被对应赋予特定物“信号灯（红）”的识别号“1”。进一步，特定物映射图210中的局部映射图210c中，相当于前行车辆的背面灯单元的多个对象部位216的亮度以特定物“信号灯（红）”、“信号灯（黄）”、“信号灯（蓝）”的顺序与亮度范围202进行比较，最终被对应赋予特定物“尾灯（红）”的识别号“4”以及“转向指示灯（橙）”的识别号“5”。图6中示出亮度图像124的多个对象部位上被赋予识别号的图，但这种表示仅仅是为便于理解的概念性表示，实际上，在对象位置上用数据登记识别号。

对象部位群组化单元166以初步确定的任意的对象部位为基准点，将在亮度图像124上与该对象部位相邻的、初步确定为对应于相同特定物（被赋予相同的识别号）的对象部位群组化，作为对象物。而且，对象部位群组化单元166对于通过群组化而新增加的对象部位，也以该对象部位为基准点，将与该对象部位相邻的、特定物相同的对象部位群组化。其结果，若被初步确定为同一特定物的对象部位相邻，则这些全部被群组化。

图7为用于说明对象部位群组化单元166的处理的说明图。在此，为了便于理解，省略示出识别号。对于如图7（a）所示的特定物映射图210，对象部位群组化单元166群组化初步确定为对应于例如特定物“信号灯（红）”的相邻的对象部位，并如图7（b）所示，作为对象物218。由此，特定物“信号灯（红）”被提取。

但是，在如图7（c）所示的发光标识中，当显示有发光色为“红”的文字时，如图7（d）所示，对象部位群组化单元166对于每一个该文字进行群组化而导出对象物218。若所述对象物218的大小近似于特定物“信号灯（红）”，则存在这种文字最终被误认为“信号灯（红）”的可能性。以下，将如发光标识的、伴随着发光而提示信息的物体简单地表示为“显示器”。

在此，分析图7（a）的信号灯和图7（c）的显示器的不同点时，相对于信号灯的附近不存在发光色相同的发光部分，显示器的附近有可能存在。因此，本实施方式中，若发光部分（对象物）的附近存在初步确定为特定物的对象部位（或者对象物），则进一步群组化两者而集合为一个对象物。由此，能够使在同一面上显示相同的发光色的显示器等特定为一个对象物。以下，用于实现这种群组化的代表距离导出单元168和对象物群组化单元170进行说明。

代表距离导出单元168导出代表距离，该代表距离是由对象部位群组化单元166群组化的对象物的各个对象部位的相对距离z的代表值。代表距离可以是从被群组化的对象物任意指定多个对象部位，并基于这些对象部位的相对距离计算出的平均值，但在本实施方式中，将出现频率高的相对距离作为代表距离。具体来说，代表距离导出单元168设定将预定的距离范围区分为多个的区分距离范围，并判断对象物上的各个对象部位的相对距离z属于哪个区分距离范围，并在包含相对距离z的区分距离范围累加“1”。如此，对于对象物的所有对象部位的相对距离z进行累加计算时，可生成表示对象物的距离分布的柱状图。然后，代表距离导出单元168将与累加的距离分布（柱状图）的顶点相当的相对距离导出为代表距离。在此，相当于顶点是指在峰值或顶点附近满足任意的条件的值。

但是，代表距离不仅是上述的距离分布的顶点，还可以取例如对象物内的对象部位的相对距离z的平均值、最大值或最小值等，以各种顺序导出。代表距离只要能够特定其对象物的概略的一个相对距离即可。

对象物群组化单元170判断自成为基准点的对象物的水平距离x的差值以及高度y的差值在第一预定范围，且相对距离z和代表距离的差值在第二预定范围的对象部位在亮度方面是否与成为基准点的对象物对应于同一特定物。在此，第一预定范围和第二预定范围，可以是例如实际空间中的1.0m。然后，若存在与对象物对应于同一特定物的对象部位，则对象物群组化单元170将该对象部位也作为对象物而进行群组化。在实际空间中，虽然水平距离x和高度y近似，但相对距离z不同时，推断为不同的对象物。因此，在此，在水平距离x、高度y以及相对距离z中的其中一个不相近时，将该对象部位的群组视为独立的对象物。据此，能够实现高精度的群组化。

这时，对象物群组化单元170仅在处于第一预定范围及第二预定范围内的多个对象部位互为相邻，且其数量为预定数量（例如为“5”）以上时，才将这些多个对象部位作为对象物而群组化。例如，处于第一预定范围以及第二预定范围的对象部位互为相邻，且其数量超过某种程度，则能够将该对象部位的群视为实际存在的对象物的一部分。由此，能够排除作为干扰部分的、与对象物对应于同一特定物的对象部位，执行恰当的群组化。

而且，对象物群组化单元170将作为对象物而群组化的对象部位的相对距离z视为代表距离，并以该对象部位为基准点，将满足条件的其他对象部位进一步作为对象物而进行群组化。

图8为用于说明对象物群组化单元170的处理的说明图。在此图8（a）及图8（b）为对应于图7（d）的特定物映射图210的距离图像126，图8（c）为与图7（d）相同的特定物映射图210。如图8（a）所示，对象物群组化单元170首先查找以画面左下角的对象物218a为基准点，与自对象物218a的中心（或者重心）位置处于第一预定范围220内以及第二预定范围内的、与对象物对应于同一特定物的对象部位。在此，由于对象物218b与对象物218a对应于同一特定物，且相邻的对象部位存在预定数量以上，因此对象物218b被群组化到对象物218a。

接着，对象物群组化单元170将群组化到对象物218a的对象部位（对象物218b）的相对距离z视为代表距离，以该对象部位为基准点，将满足条件的其他对象部位进一步群组化到对象物218a。在此，条件为处于第一预定范围内及第二预定范围内，且是与对象物218a相同的特定物。如此，通过将视为同一特定物的对象部位依次群组化，将距离近似的对象物（对象部位）整合为如图8（b）所示的一个对象物218a。而且，通过顺序地群组化对象部位，与一次群组化较宽范围时不同，能够仅对连续性高的对象物进行恰当地群组化。当将此反映到如图8（c）的特定物映射图210时，对象物218a在亮度方面被初步确定为特定物“信号灯（红）”，但由于其大小达到0.4m以上（参照图4），因此最终不会被判断为特定物“信号灯（红）”。由此，能够避免将显示器误判为信号灯。

在此，对象物群组化单元170使用实际空间上的水平距离x或高度y进行判断，但当利用亮度图像124或距离图像126上的检测距离判断时，用于群组化的第一预定范围的阈值会根据对象部位的相对距离z而变化。如图2等所示，亮度图像124或距离图像126中，由于远近的物体都被表示在平面上，因此原本位于远处的物体被表示得小（短），位于附近的物体被表示得大（长）。因此，亮度图像124或距离图像126中的第一预定范围的阈值，例如对于位于远处的对象部位设定得较短，对于位于附近的对象部位设定得较长。由此，在远处和附近的检测距离不同时，也能够实现稳定的群组化。而且，当用距离图像126上的检测距离判断时，可以用像素数量定义第一预定范围，例如，可以将在水平方向或垂直方向上具有一个像素的间隔（相邻）的像素彼此群组化。

而且，在此，分别独立判断水平距离x的差值、高度y的差值以及相对距离z的差值，且仅在所有差值被包含在预定范围时才作为同一群组，但还可以依据其他的计算。例如，当水平距离x的差值、高度y的差值以及相对距离z的差值的欧氏距离

被包含于第三预定范围之内时，也可以作为同一群组。通过所述计算，能够导出对象物与其他对象部位的实际空间上的正确的距离，能够提高群组化精度。

而且，在此，仅依据具有相同的亮度的对象部位处于第一预定范围及第二预定范围的情况而进行群组化，但并不局限于此，也可以依据满足进一步的条件的情况进行群组化。进一步的条件例如为，相对于对象部位的水平距离x的相对距离z的倾斜度以及相对于高度y的相对距离z的倾斜度与对象物的各个对象部位形成直线或高次曲线的关系。当处于第一预定范围内及第二预定范围内的对象部位满足上述条件时，对象物群组化单元170将该对象部位作为对象物而群组化。此时，相对于水平距离x的相对距离z的倾斜度以及相对于高度y的相对距离z的倾斜度可根据借助霍夫变换或最小平方法的近似直线或近似曲线确定。由此，在其表面相对于xy平面朝相对距离z方向倾斜的、例如护栏等对象物也被识别为适当的大小的对象物，从而能够提高对象物的特定精度。

当由对象物群组化单元170群组化的对象物满足预定的条件时，特定物确定单元172将该对象物确定为特定物。例如，如图4所示，在特定物表格200中对应赋予有幅度范围204时，特定物确定单元172基于特定物表格200，若对象物的大小（对象物的水平距离x的幅度以及高度y的幅度中的其中一个）被包含于针对对象物初步确定的特定物的幅度范围204之中，则将该对象物确定为成为对象的特定物。而且，也可以针对对象物的水平距离x的幅度以及高度y的幅度分别设定幅度范围204。在此，将对象物视为特定物时，确认是否具有适当的大小。因此，当未被包含于幅度范围204时，可以作为对于该环境识别处理无用的信息而剔除。例如，在使用图7和图8的例中，图7（b）的对象物218的大小被包含于特定物“信号灯（红）”的幅度范围“0.2~0.4m”，因此恰当地确定为特定物“信号灯（红）”。另外，图8（c）的对象物218a的大小未被包含于特定物“信号灯（红）”的幅度范围“0.2~0.4m”，因此不会被特定为特定物“信号灯（红）”。

因此，在环境识别装置130中，能够从亮度图像124提取一个或多个对象物作为特定物，并能够将该信息应用于各种控制。例如，通过提取特定物“信号灯（红）”，能够了解到该对象物是不移动的固定的物体的同时，若该对象物是与本车辆车道有关的信号灯，则能够了解本车辆1应停止或减速。而且，通过提取特定物“尾灯（红）”，能够了解该处有与本车辆1共同行使的前行车辆，且该前行车辆的背面处于特定物“尾灯（红）”的相对距离z之内。

当特定物确定单元172所确定的特定物为例如为“标识”，且推断其中标记有限制速度时，图案匹配单元174进一步对所标记的数值执行图案匹配，并明确该数值。由此，环境识别装置130能够识别本车辆车道的限制速度等。

在本实施方式中，首先通过特定物确定单元172提取被限定为多个的特定物，并仅进行与该提取的特定物的图案匹配即可。因此，与以往的对亮度图像124全面进行图案匹配相比，处理负荷显著地减少。

（环境识别方法）

以下，参照图9至图14的流程图说明环境识别装置130的具体的处理。图9示出关于从图像处理装置120接收到距离图像（视差信息）126时的中断处理的整个流程，图10至图14示出其中的个别的子程序。而且，在此，例举像素作为对象部位，并将亮度图像124和距离图像126的左下角作为原点，且在图像的水平方向的1~600像素、垂直方向的1~200像素的范围执行依照该环境识别方法的处理。而且，在此，假设作为对象的特定物的数量为八个。

如图9所示，以距离图像126的接收信号为契机，产生依照该环境识别方法的中断时，参照由图像处理装置120获得的亮度图像124而对象部位初步确定为特定物，生成特定物映射图210（S302）。

接着，被初步确定的特定物被群组化（S304），并导出该被群组化的对象物的代表距离（S306），进一步群组化位于对象物周围的对象部位（S308），从而被群组化的对象物被确定为特定物（S310）。若有必要从被确定的特定物进一步获取信息，则通过图案匹配单元174执行特定物的图案匹配（S312）。以下，具体说明上述的处理。

（特定物映射图生成处理S302）

参照图10，特定物初步确定单元164初始化（代入“0”）用于特定对象部位（像素）的垂直变量j（S350）。接着，特定物初步确定单元164在垂直变量j上加“1”（累加）的同时初始化水平变量i（代入“0”）（S352）。然后，特定物初步确定单元164在水平变量上加“1”，并初始化特定物变量m（代入“0”）（S354）。在此，设定水平变量i和垂直变量j是为了对整个600×200的像素执行该特定物映射图生成处理，设定特定物变量m是为了对每个像素顺序地比较八个特定物。

特定物初步确定单元164使亮度获取单元160从亮度图像124中获得作为对象部位的像素（i，j）的亮度（S356），并在特定物变量m中加“1”（S358），获得特定物（m）的亮度范围202（S360），并判断像素（i，j）的亮度是否被包含在特定物（m）的亮度范围202（S362）。

若像素（i，j）的亮度被包含于特定物（m）的亮度范围202（S362的“是”），则特定物初步确定单元164对于该像素对应地赋予表示特定物（m）的识别号p而变成像素（i，j，p）（S364）。由此，生成对亮度图像124中的各个像素赋予识别号的特定物映射图210。而且，若像素（i，j）的亮度未包含在特定物（m）的亮度范围202（S362的“否”），则判断特定物变量m是否超过作为特定物的最大数量的8（S366）。在此，若特定物变量m并未超过最大值（S366的“否”），则从步骤S358的特定物变量m的累加处理开始重复执行。而且，若特定物变量m超过最大值（S366的“是”），则认为对应于该像素（i，j）的特定物不存在，处理转到下一步骤S368。

接着，特定物初步确定单元164判断水平变量i是否超过作为水平像素的最大值的600（S368），若水平变量i并没有超过最大值（S368的“否”），则从步骤S354的水平变量i的累加处理开始重复执行。而且，若水平变量i超过最大值（S368中的“是”），则特定物初步确定单元164判断垂直变量j是否超过作为垂直像素的最大值的200（S370）。接着，若垂直变量j并没有超过最大值（S370的“否”），则从步骤S352的垂直变量j的累加处理开始重复执行。而且，若垂直变量j超过最大值（S370的“是”），则终止该特定物映射图生成处理。

（对象部位群组化处理S304）

参照图11，对象部位群组化单元166初始化（代入“0”）用于特定对象部位（像素）的垂直变量j（S402）。接着，对象部位群组化单元166在垂直变量j上加“1”的同时初始化水平变量i（代入“0”）（S404）。然后，对象部位群组化单元166在水平变量i上加“1”（S406）。

对象部位群组化单元166从亮度图像124获取作为对象部位的像素（i，j，p，dp）（S408）。然后，判断该像素（i，j，p，dp）上是否对应赋予有特定物的识别号p（S410）。在此，若对应赋予了识别号p（S410的“是”），则对象部位群组化单元166判断是否存在与该像素（i，j，p，dp）相邻的、被对应赋予相同的识别号p的其他像素（S412）。

若存在识别号p相同的其他像素（i，j，p，dp）（S412的“是”），则对象部位群组化单元166判断包括自身的相邻的所有像素的任意像素是否被赋予了群组号g（S414）。若任意一个像素被赋予了群组号g（S414中的“是”），则对象部位群组化单元166对于相邻的所有像素及被赋予同一群组号g的所有像素，赋予所赋予的群组号中最小的群组号g以及还没有用作群组号的号中的最小值中的相对小的一个值，从而变成像素（i，j，p，dp，g）（S416）。而且，若任意一个像素均未被赋予群组号g（S414的“否”），则对包含自身的相邻的所有像素新赋予还没有用作群组号的号中的最小值（S418）。

由此，当相邻像素中存在多个识别号相同的对象部位时，通过赋予一个群组号g而执行群组化。此时，当多个对象部位的任意一个均未被赋予群组号g时，赋予新的群组号，当多个对象部位的某些已经被赋予群组号g时，赋予与此相同的群组号g。但是，当多个对象部位中存在多个群组号g时，因为应视为一个群组，因此将该对象部位的所有的群组号g置换为一个群组号g。

此时，不仅对相邻的所有的像素，还对被赋予同一群组号g的所有像素的群组号g进行一次性变更的理由在于：通过群组号g的变更，避免已经被统一的群组分离。而且，在最小的群组号g以及还未用作群组号的号中的最小值中采用相对小的一个值的理由在于：对组标号时，尽可能避免出现空号。据此，防止群组号g的最大值无端地变大，从而能够减轻处理负荷。

若没有对应赋予识别号p（S410的“否”），或者不存在识别号相同的其他像素（S412的“否”），则转移到下一步骤S420。

接着，对象部位群组化单元166判断水平变量i是否超过作为水平像素的最大值的600（S420），若水平变量i并没有超过最大值（S420的“否”），则从步骤S406的水平变量i的累加处理开始重复执行。而且，若水平变量i超过最大值（S420的“是”），则对象部位群组化单元166判断垂直变量j是否超过作为垂直像素的最大值的200（S422）。然后，若垂直变量j没有超过最大值（S422中的“否”），则从步骤S404的垂直变量j的累加处理开始重复。而且，若垂直变量j超过最大值（S422的“是”），则终止该对象部位群组化处理。

（代表距离导出处理S306）

参照图12，代表距离导出单元168初始化（代入“0”）用于特定对象部位（像素）的垂直变量j（S450）。接着，代表距离导出单元168在垂直变量j上加“1”的同时初始化（代入“0”）水平变量i（S452）。接着，代表距离导出单元168在水平变量i上加“1”（S454）。

代表距离导出单元168从亮度图像124获取作为对象部位的像素（i，j，p，dp，g），并将包含视差信息dp的像素坐标变换为实际空间上的点（x，y，z），变成像素（i，j，p，dp，g，x，y，z）（S456）。然后，判断该像素（i，j，p，dp，g，x，y，z）的群组号g是否为有效的值，即，是否已经赋予群组号g（S458）。在此，若作为群组号g赋予了有效的值（S458的“是”），则代表距离导出单元168判断包含该像素（i，j，p，dp，g，x，y，z）的对象物的代表距离是否已经被导出（S460）。

若还没有导出包含该像素的代表距离（S460的“否”），则代表距离导出单元168导出代表距离，对于对象物内的所有的对象部位设定代表距离rd，变成像素（i，j，p，dp，g，x，y，z，rd）（S462）。在此，代表距离是相当于对象物内的对象部位的距离分布的顶点的相对距离z。若群组号g不是有效值（S458的“否”）或者代表距离已经完成导出（S460的“是”），则转移到下一步骤S464。

接着，代表距离导出单元168判断水平变量i是否超过作为水平像素的最大值的600（S464），若水平变量i并没有超过最大值（S464的“否”），则从步骤S454的水平变量i的累加处理开始重复执行。而且，若水平变量i超过最大值（S464中的“是”），则代表距离导出单元168判断垂直变量j是否超过作为垂直像素的最大值的200（S466）。接着，若垂直变量j并没有超过最大值（S466的“否”），则从步骤S452的垂直变量j的累加处理开始重复执行。而且，若垂直变量j超过最大值（S466的“是”），则终止该代表距离导出处理。

（对象物群组化处理S308）

参照图13，对象物群组化单元170参照用于群组化对象部位的第一预定范围、第二预定范围（S500），初始化（代入“0”）用于特定对象部位（像素）的垂直变量j（S502）。接着，对象物群组化单元170在垂直变量j上加“1”的同时初始化（代入“0”）水平变量i（S504）。接着，对象物群组化单元170在水平变量i上加“1”（S506）。

对象物群组化单元170从亮度图像124获取作为对象部位的像素（i，j，p，dp，g，x，y，z，rd）（S508）。然后，判断该像素（i，j，p，dp，g，x，y，z，rd）上是否对应赋予有特定物的识别号p（S510）。在此，若对应赋予有识别号p（S510的“是”），则对象物群组化单元170判断在自该像素的实际空间上的坐标（x，y，z）的第一预定范围及第二预定范围之内是否存在对应赋予相同的识别号p的其他像素（S512）。

若存在识别号p相同的其他像素（i，j，p，dp，g，x，y，z，rd）（S512的“是”），则对象物群组化单元170判断包括其他像素的对象物内的对象部位的数量是否在预定数量以上（S514）。若对象物内的对象部位的数量在预定数量以上（S514中的“是”），则对象物群组化单元170对于包含其他像素的所有对象物与该对象物一起群组化，并将包含其他像素的对象物的群组号置换为该对象物的群组号（S516）。然后，对象物群组化单元170将包含其他像素的对象物的代表距离增加为代表距离，从步骤S512的条件判断处理开始重复执行（S518）。由此，不仅是对于成为基准点的对象物，还对于被群组化的对象物，附近的对象物也会被查找出来。

若没有对应赋予识别号p（S510的“否”）、不存在满足条件的对象物（S512的“否”），或者对象部位的数量小于预定数量（S514的“否”），则处理转移到下一步骤S520。

接着，对象物群组化单元170判断水平变量i是否超过作为水平像素的最大值的600（S520），若水平变量i并没有超过最大值（S520的“否”），则从步骤S506的水平变量i的累加处理开始重复执行。而且，若水平变量i超过最大值（S520的“是”），则对象物群组化单元170判断垂直变量j是否超过作为垂直像素的最大值的200（S522）。然后，若垂直变量j没有超过最大值（S522中的“否”），则从步骤S504的垂直变量j的累加处理开始重复。而且，若垂直变量j超过最大值（S522的“是”），则终止该对象物群组化处理。

（特定物确定处理S310）

参照图14，特定物确定单元172初始化（代入“0”）用于特定群组的群组变量k（S552）。接着，特定物确定单元172在群组变量k上加“1”（S554）。

特定物确定单元172判断亮度图像124中是否存在群组号g为群组变量k的对象物（S556），若存在（S556的“是”），则计算被赋予该群组号g的对象物的大小（S558）。此时，对象物的大小根据作为位于画面左端的像素和位于画面右端的像素之间的水平距离（差值）的水平方向分量以及作为位于对象物的画面上端的像素和位于画面下端的像素之间的高度（差值）的垂直方向分量确定。接着，判断所计算出的大小是否被包含在以对群组号g为群组变量k的对象物对应赋予的识别号p表示的特定物的幅度范围204（S560）。例如，当对象物的大小的水平方向分量处于特定物“信号灯（红）”的幅度范围204以内，且对象物大小的垂直方向分量处于特定物“信号灯（红）”的幅度范围204以内时，可判断为对象物被包含于特定物“信号灯（红）”的幅度范围204。

若大小被包含于以识别号p表示的特定物的幅度范围204（S560的“是”），则特定物确定单元172将该对象物确定为特定物（S562）。若大小未包含于以识别号p表示的特定物的幅度范围204（S560的“否”），或不存在群组号g为群组变量k的对象物时（S556的“否”），处理转移到下一步骤S564。

接着，特定物确定单元172判断群组变量k是否超过群组化处理中设定的群组号的最大值（S564）。然后，若群组变量k没有超过最大值（S564中的“否”），则从步骤S554的群组变量k的累加处理开始重复执行。而且，若群组变量k超过最大值（S564中的“是”），则终止该特定物确定处理。据此，被群组化的对象物正式被确定为特定物。

根据如上说明的环境识别装置130，基于水平距离x、高度y以及相对距离z，能够群组化原本就应识别为一个对象物的对象物，因此能够提高对象物的特定精度，并能够避免错误识别。

而且，将进行如此的基于水平距离x、高度y、以及相对距离z的群组化之前，首先，无需利用距离信息，而对具有同一识别号p的相邻的像素进行群组化，并以该被群组化的对象物为基准点，扩大对象物范围，从而与从最初就对所有的对象部位进行基于水平距离x、高度y以及相对距离z的群组化时相比，能够以非常少的处理负荷实现相同的结构。

而且，还提供将计算机作为环境识别装置130而功能化的程序或记录该程序的计算机可读软盘、光磁盘、ROM、CD、DVD、BD等记录介质。在此，程序是利用任意的语言或记述方法记述的数据处理方法。

以上的说明中，参照附图对本发明的优选实施方式进行了说明，但是本发明并不局限于已说明的实施方式。本发明所属领域的技术人员应知道在权利要求书所记载的范畴之内导出各种变更例或修改例是显而易见的，但显然这些都属于本发明的技术范围。

例如，在上述实施方式中，基于利用多个摄像装置110的图像数据之间的视差导出对象物的三维位置，但并不局限于所说明的情况，例如，可以利用激光雷达测距装置等已知的各种距离测量装置。在此，激光雷达测距装置通过向检测区域122发射激光光束，并接收该激光光束到达物体之后反射的光，从而根据所需时间测量至物体的距离。

而且，在上述的实施方式中，以由摄像装置110获取彩色图像为前提，但并不局限于所说明的情况，通过取得单色图像，也能够执行本实施方式。此时，特定物表格200以单色的亮度定义。

而且，在上述的实施方式中，举出位置信息获取单元162从图像处理装置120接收距离图像（视差信息）126而生成三维位置信息的例子。但是，并不局限于所说明的情况，也可以由图像处理装置120预先生成三维的位置信息，再由位置信息获取单元162获取所生成的三维位置信息。据此，实现功能的分散，能够减轻环境识别装置130的处理负荷。

而且，在上述的实施方式中，亮度获取单元160、位置信息获取单元162、特定物初步确定单元164、对象部位群组化单元166、代表距离导出单元168、对象物群组化单元170、特定物确定单元172、图案匹配单元174由中央控制单元154通过软件进行操纵。但是，上述的功能单元也可以由硬件构成。

而且，特定物确定单元172基于例如对象物的大小被包含于特定物的幅度范围204的情况来确定特定物，但并不局限于此，也可以在满足其他各种条件时确定为特定物。例如，对象物中的水平方向和铅直方向的相对距离z的推移几乎相等（连续）时或相对于z坐标的相对移动速度相同时确定为特定物。此时，对象物中的水平方向及铅直方向的相对距离z的推移可根据借助霍夫变换或最小平方法的近似直线确定。

在此，本说明书中的环境识别方法的各个步骤并不一定要按照流程图中记载的顺序按时间顺序进行处理，也可以包含并行处理或依据子程序的处理。

产业上的可利用性

本发明可利用于基于检测区域中的对象物的亮度识别该对象物的环境识别装置及环境识别方法。

Claims (8)

1.一种环境识别装置，其特征在于，包括：

数据存储单元，将亮度范围和特定物对应而存储；

亮度获取单元，获取检测区域内的对象部位的亮度；

特定物初步确定单元，基于存储于所述数据存储单元的对应关系，从所述对象部位的亮度初步确定对应于所述对象部位的特定物；

对象部位群组化单元，对初步确定为对应于同一特定物的相邻的对象部位进行群组化而作为对象物；

位置信息获取单元，将本车辆的行进方向上的自本车辆到所述对象部位的距离作为相对距离而获取；

代表距离导出单元，导出作为所述对象物的各个对象部位的相对距离的代表值的代表距离；

对象物群组化单元，将自所述对象物的水平距离的差值及高度的差值处于第一预定范围内，且相对距离和所述代表距离的差值处于第二预定范围内的、在亮度方面与该对象物对应于同一特定物的其他对象部位作为该对象物而进行群组化。

2.根据权利要求1所述的环境识别装置，其特征在于，在处于所述第一预定范围内及所述第二预定范围内的多个对象部位互为相邻，且其数量达到预定数量以上时，所述对象物群组化单元对所述多个对象部位作为对象物而群组化。

3.根据权利要求1或2所述的环境识别装置，其特征在于，所述对象物群组化单元将作为对象物而群组化的对象部位的相对距离视为代表距离，并以所述对象部位为基准点，将满足条件的其他对象部位进一步作为该对象物而进行群组化。

4.根据权利要求1或2所述的环境识别装置，其特征在于，所述对象物群组化单元在相对于处于所述第一预定范围内以及第二预定范围内的对象部位的水平距离的相对距离的倾斜度以及相对于高度的相对距离的倾斜度与所述对象物的各个对象部位形成直线关系时，作为该对象物而进行群组化。

5.根据权利要求1或2所述的环境识别装置，其特征在于，所述对象物群组化单元在相对于处于所述第一预定范围以及第二预定范围的对象部位的水平距离的相对距离的倾斜度以及相对于高度的相对距离的倾斜度与所述对象物的各个对象部位形成高次曲线关系时，作为该对象物而进行群组化。

6.根据权利要求1或2所述的环境识别装置，其特征在于，所述代表距离是与所述对象物内的对象部位的相对距离中出现频率最高的相对距离。

7.根据权利要求1或2所述的环境识别装置，其特征在于，所述代表距离为所述对象物内的对象部位的相对距离的平均值。

8.一种环境识别方法，其特征在于，包括：

获取检测区域内的对象部位的亮度；

获取在本车辆的行进方向上的自本车辆到所述对象部位的距离作为相对距离；

基于存储于数据存储单元的亮度的范围和特定物的对应关系，从所述对象部位的亮度初步确定对应于所述对象部位的特定物；

对初步确定为对应于同一特定物的相邻的对象部位进行群组化而作为对象物；

导出作为所述对象物的各个对象部位的相对距离的代表值的代表距离；

将自所述对象物的水平距离的差值及高度的差值处于第一预定范围内，且相对距离和所述代表距离的差值处于第二预定范围内的、在亮度方面与该对象物对应于同一特定物的其他对象部位作为该对象物而进行群组化。