CN102745160A - 环境识别装置及环境识别方法 - Google Patents

Abstract

本发明涉及环境识别装置及环境识别方法，以提高对象物的确定效率及确定精度，并实现处理时间的缩短。环境识别装置(130)获取检测区域内的对象部位的亮度，获取对象部位的高度，并基于存储在数据存储单元(152)的亮度范围和自道路表面的高度的范围与特定物的对应关系，根据所述对象部位的亮度和高度初步确定与所述对象部位对应的特定物。

Description

环境识别装置及环境识别方法

技术领域

本发明涉及基于检测区域的对象物的亮度识别该对象物的环境识别装置及环境识别方法。

背景技术

以往，检测位于本车辆前方的车辆或信号灯等所谓障碍物的对象物，并对本车辆进行控制以避免与所检测出的对象物发生碰撞或使本车辆与前行车辆的车距保持在安全距离的技术已被为人所知(例如，专利文献1、2)。

而且，在这种技术中，不仅将对象物一律特定为物体，而且为了进行更高精度的控制，还存在判断对象物是以与本车辆相同的速度行驶的前行车辆，还是不移动的被固定的物体等的技术。在此，当通过对检测区域的拍摄而检测出对象物时，在特定对象物为何物之前，应从所拍摄的图像中提取(剪切)对象物本身。

例如，当所拍摄的图像为彩色图像时，可以采用将具有相同的亮度(颜色)的像素集作为对象物进行提取的方法。但是，当对象物与背景的颜色近似，根据亮度无法区分两者时，或对象物并非由单色构成时，会存在一体的对象物被划分为多个部位的情况。因此，作为计算这种对象物的特征量的技术，公开有将具有相同的颜色特征的多个像素群组化，并单纯化图像的技术(例如，专利文献3)。

现有技术文献

专利文献

专利文献1：日本专利第3349060号

专利文献2：日本特开平10-283461号公报

专利文献3：日本特开2000-67240号公报

但是，以往的方法中，由于将所拍摄出的整个图像作为对象而提取各个像素的亮度信息，且每次都进行试图与近似像素成组的处理，因此完成对整个图像的处理需要花费大量的处理时间。而且，对于该控制而言无用的像素也被群组化，因此存在对象物的特定效率和特定精度下降的问题。

发明内容

本发明是鉴于这种课题而提出的，其目的在于提供一种提高对象物的特定效率和特定精度，并能够实现缩短处理时间的环境识别装置及环境识别方法。

为了实现上述目的，本发明的环境识别装置，其特征在于，包括：数据存储单元，将亮度范围和自道路表面的高度范围与特定物对应而存储，亮度获取单元；获取检测区域内的对象部位的亮度；位置信息获取单元，获取对象部位的高度；特定物初步确定单元，基于存储于数据存储单元的对应关系，从对象部位的亮度和高度初步确定对应于对象部位的特定物。

所述位置信息获取单元获取检测区域内的对象部位相对于本车辆的相对距离对应于拍摄该检测区域的图像的距离图像，并基于相对距离、与该对象部位处于相同的相对距离的道路表面上的点与该对象部位在该距离图像上的检测距离，导出高度。

优选地，还包括群组化单元，将水平距离的差值以及高度的差值在预定范围内的、初步确定为对应于同一特定物的对象部位进行群组化而作为对象物；特定物确定单元，将对象物确定为特定物。

优选地，群组化单元对于相对距离的差值在预定范围之内的、初步确定为对应于同一特定物的对象部位进行群组化。

优选地，数据存储单元在特定物上进一步对应大小范围进行存储，特定物确定单元基于存储在数据存储单元的对应关系，根据对象物的大小将对象物确定为特定物。

优选地，特定物初步确定单元对于多个对象部位的每一个判断是否对应于从多个特定物顺序地选择出的一个特定物，并初步确定对应于对象部位的特定物。

为了解决上述课题，本发明的环境识别方法包括如下步骤：获取检测区域内的对象部位的亮度；获取对象部位的高度；基于存储在数据存储单元的亮度范围和自道路表面的高度的范围与特定物的对应关系，根据对象部位的亮度和高度初步确定与对象部位对应的特定物。

根据本发明，通过亮度和高度等多个参数特定对象物，能够提高对象物的特定效率及特定精度，并能够实现处理时间的缩短。

附图说明

图1为示出环境识别系统的连接关系的方框图。

图2为用于说明亮度图像和距离图像的说明图。

图3为示出环境识别装置的概略的功能的功能方框图。

图4为用于说明特定物表格的说明图。

图5为用于说明根据位置信息获取单元变换为三维位置信息的变换过程说明图。

图6为用于说明特定物映射图的说明图。

图7为示出环境识别方法的整个流程的流程图。

图8为示出特定物映射图的产生处理的流程的流程图。

图9为示出特定物初步确定处理的流程的流程图。

图10为示出群组化处理的流程的流程图。

图11为示出特定物确定处理的流程的流程图。

主要符号说明

1：车辆

122：检测区域

124：亮度图像

126：距离图像

130：环境识别装置

152：数据存储单元

160：亮度获取单元

162：位置信息获取单元

164：特定物初步确定单元

166：群组化单元

168：特定物确定单元

200：特定物表格

202：亮度范围

204：高度范围

206：宽度范围

210：特定物映射图

具体实施方式

以下，参照附图详细说明本发明的优选实施方式。所涉及的实施方式中所示的尺寸、材料、其他具体数值等仅仅是为容易地理解发明而例示的，除了特别指定的情况，并不能限定本发明。在此，本说明书及附图中，对于具有实质上相同的功能、结构的要素通过赋予相同的符号的方式省略重复性说明，而且对与本发明没有直接关系的要素省略了图示。

(环境识别系统100)

图1为示出环境识别系统的连接关系的方框图。环境识别系统100包括设置在车辆1内的多个(本实施方式中为两个)摄像装置110、图像处理装置120、环境识别装置130、车辆控制装置140。

摄像装置110包含电荷耦合器件(CCD，Charge-Coupled Device)或互补金素氧化半导体(CMOS，Complementary Metal-Oxide Semiconductor)等摄像器件，能够获取彩色图像，即，像素单位中可获取三个色相(红、绿、蓝)的亮度。在此，由摄像装置110所拍摄的彩色图像称为亮度图像，区别于后述的距离图像。而且，摄像装置110为两个，两个摄像装置110大致在水平方向分开布置，以在车辆1的行进方向侧两个摄像装置110各自的光轴大致平行。摄像装置110每隔例如1/60秒(60fps)连续生成拍摄存在于车辆1前方的检测区域的对象物的图像数据。在此，对象物不仅包括车辆、信号灯、道路、护栏等独立存在的立体物体，还包括尾灯或转向指示灯、信号器的各个照明部分等能够确定为立体物的部分的物体。在以下实施方式中的各个功能单元以这种图像数据的更新为契机执行各种处理。

图像处理装置120从两个摄像装置110分别获取图像数据，并基于两个图像数据导出包含图像中的任意区块(集合预定数量的像素的区块)的视差以及示出任意区块在画面中的位置的画面位置的视差信息。图像处理装置120采用从另一个像素数据搜索对应于从一个图像数据任意抽出的区块(例如，水平4像素×垂直4像素的阵列)的区块的所谓的图案匹配而导出视差。在此，水平是指所拍摄的图像的画面横向方向，相当于实际空间中的水平方向。而且，垂直是指所拍摄的图像的画面纵向方向，相当于实际空间中的竖直方向。

所述图案匹配是指，在两个图像数据之间以示出任意图像位置的区块单位比较亮度值(Y色差信号)的方法。例如，包括求出亮度值的差值的绝对差值和(SAD，Sum of Absolute Difference)、将差值平方后使用的差值的平方和(SSD，Sum of Squared intensity Difference)、求出从各个像素的亮度值减去了平均值的分散值的相似度的归一化互相关(NCC，Normalized CrossCorrelation)等方法。图像处理装置120对于被显示在检索区域(例如，600像素×200像素)的全部区块执行这种区块单位的视差导出处理。在此，将区块设定为4像素×4像素，但区块内的像素数量可以任意地设定。

但是，在图像处理装置120中，虽然对作为检测分辨率的单位的每个区块能够导出视差，但无法识别该区块是哪种对象物的一部分。因此，视差信息不是对象物单位，而是作为检测区域的检测分辨率单位(例如区块单位)而被独立地导出。在此，将如此导出的视差信息(相当于后述的相对距离)映射到图像数据的图像称为距离图像。

图2为用于说明亮度图像124和距离图像126的说明图。例如，假设通过两个摄像装置110针对检测区域122生成图2(a)所示的亮度图像(图像数据)124。但是，在此，为了便于理解，仅模式性地示出两个亮度图像124中的一个。图像处理装置120从这种亮度图像124求出每个区块的视差，从而形成图2(b)所示的距离图像126。对于距离图像126中的各个区块来说，其区块的视差相互关联。在此，为了便于说明，将导出视差的区块以黑点表示。

对于视差来说，容易以图像的边缘部分(相邻像素之间明暗的差值较大的部分)确定，因此在距离图像126中，赋予黑点的、导出视差的区块在亮度图像124中也大多形成边缘。因此，图2(a)所示的亮度图像124和图2(b)所示的距离图像126在各个对象物的轮廓上相互近似。

环境识别装置130从图像处理装置120获得亮度图像124和距离图像126，并利用基于亮度图像124的亮度和基于距离图像126的从道路表面的高度(以下，简单地称为“高度”)确定检测区域中的对象物对应于哪种特定物。这时，环境识别装置130利用所谓的立体视觉法将距离图像126中的检测区域122内的每个区块的视差信息变换为包含相对距离的三维位置信息，并导出高度。在此，立体视觉法是通过使用三角测量法从对象物的视差导出该对象物相对于摄像装置110的相对距离的方法。对于环境识别装置130将在后面详述。

车辆控制装置140执行避免本车辆与通过环境识别装置130确定的对象物碰撞或使本车辆与前行车辆的车间距保持在安全距离的控制。具体来说，车辆控制装置140通过用于检测方向盘角度的舵角传感器142和用于检测车辆1的速度的车速传感器144等获得当前的车辆1的行驶状态，并通过控制致动器146将车辆1与前行车辆的车间距保持在安全距离。在此，致动器146是用于控制刹车、节气阀、舵角等的车辆控制用致动器。而且，当推断出将与对象物产生碰撞时，车辆控制装置140在设置在驾驶者前方的显示器148进行相应警告显示(报警)的同时，控制致动器146使车辆1自动地减速。车辆控制装置140也可以与环境识别装置130形成为一体。

(环境识别装置130)

图3为示出环境识别装置130的概略的功能的功能方框图。如图3所示，环境识别装置130包括I/F单元150、数据存储单元152、中央控制单元154。

I/F单元150是用于使图像处理装置120和车辆控制装置140进行双向信息交换的接口。数据存储单元152由RAM、闪存、HDD等构成，以用于保存特定物表格(映射)或以下所示各个功能单元的处理中所必要的各种信息，而且暂时保存从图像处理装置120接收的亮度图像124、距离图像126。在此，特定物表格的使用方式如下。

图4为用于说明特定物表格200的说明图。特定物表格200中，针对多个特定物对应示出表示亮度的范围的亮度范围202、表示自道路表面的高度的范围的高度范围204、表示特定物的大小的范围的宽度范围206。在此，作为特定物，可假设“信号灯(红)”、“信号灯(黄)”、“信号灯(绿)”、“尾灯(红)”、“转向指示灯(橙)”、“道路标识(红)”、“道路标识(蓝)”、“道路标识(绿)”等在道路上行驶时有必要目视的各种物体。当然，特定物并不局限于图4所示的物体。而且，特定物表格200中，特定物的确定具有优先顺序，该环境识别处理依照该优先顺序，对于从特定物表格200中的多个特定物中依次选择出的每一个特定物执行。特定物中，例如，特定物“信号灯(红)”对应的亮度(红)为“200以上”，亮度(绿)为“50以下”，亮度(蓝)为“50以下”，高度范围为“4.5～7.0m”，宽度范围为“0.1～0.3m”。

在本实施方式中，基于特定物表格200，在亮度图像124内的任意对象部位中满足有关任意特定物的亮度范围202及高度范围204的条件的对象部位成为特定物的候补。例如，当对象部位的亮度被包含于特定物“信号灯(红)”的亮度范围202之内时，导出该对象部位的高度，若该高度范围204被包含在特定物“信号灯(红)”的高度范围(“4.5～7.0m”时，将该对象部位作为“信号灯(红)”的候补。而且，将对象部位群组化的对象物被提取为类似特定物的形态时，例如，被群组化的对象物的大小被包含在“信号灯(红)”的宽度范围“0.1～0.3m”之内时，被判断为特定物。被判断为特定物的对象部位通过特定物固有的识别号被标记。在此，对象部位假设为像素或集合像素的区块，但本实施方式中，为了便于说明，假设为像素。

中央控制单元154由包括中央处理器(CPU)、存储程序等的ROM、作为工作区的RAM等的半导体集成电路构成，通过系统总线156控制I/F单元150和数据存储单元152。而且，在本实施方式中，中央控制单元154具有作为亮度获取单元160、位置信息获取单元162、特定物初步确定单元164、群组化单元166、特定物确定单元168、图案匹配单元170的功能。

亮度获取单元160根据后述的特定物初步确定单元164的控制指令，从接收的亮度图像124以对象部位(像素)单位获取亮度(在像素单位中获取三个色相(红、绿、蓝)的亮度)。这时，当检测区域处于例如雨天或阴天时，亮度获取单元160也可以调整白平衡之后获取亮度，以能够获取原始的亮度。

位置信息获取单元162根据后述的特定物初步确定单元164的控制指令，使用立体视觉法将距离图像126中的检测区域122内的每个区块的视差信息变换为包含水平距离x、高度y以及相对距离z的三维位置信息。在此，视差信息表示距离图像126中的各个对象部位的视差，而三维位置信息表示实际空间中的各个对象部位的相对距离的信息。因此，使用的术语中，相对距离或高度是指实际空间上的距离，检测距离是指距离图像126上的距离。而且，当视差信息并非以像素单位，而是以区块单位(即，以多个像素为单位)被导出时，该视差信息被视为属于区块的所有像素的视差信息，从而能够执行像素单位的计算。

图5为用于说明通过位置信息获取单元162变换为三维位置信息的说明图。位置信息获取单元162将距离图像126识别为如图5所示的像素单位的坐标系。在此，图5中，将左下角设定为原点(0，0)，横向方向设定为i坐标轴，纵向方向设定为j坐标轴。因此，具有视差dp的像素能够由像素位置i、j和视差dp表示为(i，j，dp)。

将本实施方式中的实际空间上的三维坐标系假设为以车辆1为中心的相对坐标系。在此，将车辆1的行进方向右侧方设定为X轴的正方向，车辆1的上方设定为Y轴的正方向，车辆1的行进方向(前方)设定为Z轴的正方向，经过两个摄像装置110的中央的铅直线和道路表面的交点作为原点(0，0，0)。此时，假设道路为平面时，道路表面与X-Z平面(y＝0)一致。位置信息获取单元162通过以下的数学式1～数学式3将距离图像126上的区块坐标(i，j，dp)变换为实际空间上的三维的点坐标(x，y，z)。

x＝CD/2+z·PW·(i-IV)...数学式1

y＝CH+z·PW·(j-JV)...数学式2

z＝KS/dp...数学式3

在此，CD为摄像装置110之间的间隔(基线长度)，PW为每一个像素的视角，CH为摄像装置110自道路表面的布置高度，IV、JV为车辆1的正面方向无限远端的图像上的坐标(像素)，KS为距离系数(KS＝CD/PW)。

因此，位置信息获取单元162基于对象部位的相对距离、与对象部位处于相同的相对距离的道路表面上的点和对象部位在距离图像126上的检测距离，导出自道路表面的高度。

特定物初步确定单元164基于保存在数据存储单元152的特定物表格200，从对象物的亮度和高度初步确定对应于对象物的特定物。

具体来说，特定物初步确定单元164首先使亮度获取单元160获取亮度图像124上的任意对象部位的亮度。接着，特定物初步确定单元164从登记在特定物表格200的特定物顺序地选择出任意的特定物，判断获取的一个对象部位的亮度是否包含于顺序地选择出的特定物的亮度范围202。然后，若包含于成为对象的亮度范围202之内，则对该对象部位赋予表示该特定物的识别号，并制作特定物映射图。

特定物初步确定单位164对于多个对象部位的每一个顺序进行这种各个对象部位的亮度与登记在特定物表格200上的多个特定物的亮度范围202之间的一系列的比较。在此，特定物的选择顺序遵从如上所述地表示在特定物表格200上的优先顺序。即，图4的特定物表格200的例中，以“信号灯(红)”、“信号灯(黄)”、“信号灯(绿)”、“尾灯(红)”、“转向指示灯(橙)”、“道路标识(红)”、“道路标识(蓝)”、“道路标识(绿)”顺序执行比较处理。

而且，按照所述优先顺序比较的结果，判断为对象部位的亮度包含于优先顺序高的特定物的亮度范围202时，最初就不会执行有关优先顺序低于它的特定物的比较处理。因此，对于一个对象部位最多赋予一个表示特定物的识别号。这是由于多个特定物不会在空间上重叠，由特定物初步确定单元164一旦判断为任意的特定物的对象物最初就没有必要判断是否会是其他特定物。如此，通过排他性地处理对象部位，能够避免对已经被初步确定为特定物的对象部位的重复的特定处理，从而能够减轻处理负荷。

图6为用于说明特定物映射图210的说明图。特定物映射图210是在亮度图像124中叠加特定物的识别号的图，在相当于被初步确定为特定物的对象部位的位置映射有该特定物的识别号。

例如，特定物映射图210中的局部映射图210a中，相当于前行车辆的尾灯的多个对象部位212的亮度被包含于特定物“信号灯(红)”的亮度范围202，因此被对应赋予特定物“信号灯(红)”的识别号“1”。而且，特定物映射图210中的局部映射图210b中，相当于信号灯的右侧点亮部分的多个对象部位214的亮度被包含于特定物“信号灯(红)”的亮度范围202，因此被对应赋予特定物“信号灯(红)”的识别号“1”。进一步，特定物映射图210中的局部映射图210c中，相当于前行车辆的背面灯单元的多个对象部位216的亮度以特定物“信号灯(红)”、“信号灯(黄)”、“信号灯(绿)”的顺序与亮度范围202进行比较，最终被对应赋予特定物“尾灯(红)”的识别号“4”以及“转向指示灯(橙)”的识别号“5”。图6中示出亮度图像124的多个对象部位上被赋予识别号的图，但这种表示仅仅是为便于理解的概念性表示，实际上，在对象位置上用数据登记有识别号。

接着，特定物初步确定单元164通过位置信息获取单元162获取在特定物映射图210中被赋予识别号的对象部位自道路表面的高度。然后，特定物初步确定单元164判断该高度是否包含于在特定物表格200中通过识别号特定的特定物的高度范围204。

假如，图6所示的特定物映射图210中多个局部映射图被赋予识别号“1”。其中，局部映射图210b中的对象部位214由于通过位置信息获取单元162导出的实际空间上的高度为6m，因此被判断为包括在特定物“信号灯(红)”的高度范围“4.5～7m”。而且，局部映射图210a中的对象部位212的高度为1m，因此被判断为未包括在特定物“信号灯(红)”的高度范围“4.5～7m”。在此，被判断为未包括在特定物的高度范围204的对象部位就从特定物“信号灯(红)”的候补中剔除。另外，对于被判断为包括在特定物的高度范围204的对象部位，先初步确定为该特定物“信号灯(红)”。

群组化单元166以初步确定的任意的对象部位为基准点，将该对象部位和水平距离x的差值以及高度y的差值在预定范围内的、初步确定为对应于相同特定物(被赋予相同的识别号)的对象部位群组化，作为对象物。在此，预定范围用实际空间上的距离表示，且可以设定为任意的值。而且，群组化单元166对于通过群组化而新增加的对象部位，也以该对象部位为基准点，将水平距离x的差值以及高度y的差值在预定范围内的、特定物相同的对象部位群组化。其结果，若被初步确定为同一特定物的对象部位之间的距离在预定范围之内，则这些全部被群组化。

在此，群组化单元166使用实际空间上的水平距离或高度进行判断，但当利用亮度图像124或距离图像126上的检测距离判断时，用于群组化的预定范围的阈值会根据对象部位的相对距离而变化。如图2等所示，亮度图像124或距离图像126中，由于远近的物体都被表示在平面上，因此位于主体的远处的物体被表示的小(短)，位于附近的物体被表示的大(长)。因此，亮度图像124或距离图像126中的预定范围的阈值，例如对于位于远处的对象部位设定的较小，对于位于附近的对象部位设定的较大。由此，在远处和附近的检测距离不同时，也能够实现稳定的群组化。

而且，群组化单元166还可以将上述的水平距离x的差值和高度y的差值之外相对距离z的差值也处于预定范围之内的、初步确定为对应于同一特定物的对象部位群组化。在实际空间中，即使水平距离x和高度y近似，但相对距离z相隔较远时，可推断为是不同的对象物。因此，当水平距离x、高度y以及相对距离z中的任意一个相隔较远时，将其对象部位的群组视为独立的对象物。由此，能够实现高精度的群组化。

而且，在此，分别独立判断水平距离x的差值、高度y的差值以及相对距离z的差值，且仅在所有差值被包含在预定范围时才作为同一群组，但还可以依据其他的计算。例如，当水平距离x的差值、高度y的差值以及相对距离z的差值的欧氏距离

被包含于预定范围之内时，也可以作为同一群组。通过所述计算，能够导出对象部位在实际空间上的正确的彼此距离，能够提高群组化精度。

当群组化单元166群组化的对象物满足预定的条件时，特定物确定单元168将该对象物确定为特定物。例如，如图4所示，在特定物表格200中对应记载宽度范围206时，特定物确定单元168基于特定物表格200，若对象物的大小被包含于针对对象物初步确定的特定物的宽度范围206之中，则将该对象物确定为成为对象的特定物。在此，将对象物视为特定物时，确认是否具有适当的大小。因此，当未被包含于宽度范围206时，可以作为对于该环境识别处理无用的信息而剔除。

因此，在环境识别装置130中，能够从亮度图像124提取一个或多个对象物作为特定物，并能够将该信息应用于各种控制。例如，通过提取特定物“信号灯(红)”，了解到该对象物是不移动的固定的物体的同时，若该对象物是与本车辆车道有关的信号灯，则能够了解本车辆1应停止或减速。而且，通过提取特定物“尾灯(红)”，能够了解该处有与本车辆1共同行使的前行车辆，且该前行车辆的背面处于特定物“尾灯(红)”的相对距离之内。

当特定物确定单元168所确定的特定物例如为“标识”，且推断其中标记有限制速度时，图案匹配单元170进一步对所标记的数值执行图案匹配，并明确该数值。由此，环境识别装置130能够识别本车辆车道的限制速度等。

在本实施方式中，首先通过特定物确定单元168提取被限定为多个的特定物，并仅进行与该提取的特定物的图案匹配即可。因此，与以往的对亮度图像124全面进行图案匹配相比，处理负荷显著地减少。

(环境识别方法)

以下，参照图7至图11的流程图说明环境识别装置130的具体的处理。图7示出关于从图像处理装置120接收到距离图像(视差信息)126时的中断处理的整个流程，图8至图11示出其中的个别的子程序。而且，在此，例举像素作为对象部位，并将亮度图像124和距离图像126的左下角作为原点，且在图像的水平方向的1～600像素、垂直方向的1～200像素的范围执行依照该环境识别方法的处理。而且，在此，假设作为对象的特定物的数量为八个。

如图7所示，以距离图像126的接收信号为契机，产生依照该环境识别方法的中断时，参照由图像处理装置120获得的亮度图像124而生成特定物映射图210(S300)。接着，通过基于从图像处理装置120获取的距离图像126的对象部位的高度y，将特定映射图210中的对象部位初步确定为特定物(S302)。

然后，初步确定的对象物被群组化(S304)，被群组化的对象物被确定为特定物(S308)。若有必要从被确定的特定物进一步获取信息，则通过图案匹配单元170执行特定物的图案匹配(S308)。以下，具体说明上述的处理。

(特定物映射图生成处理S300)

参照图8，特定物初步确定单元164初始化(代入“0”)用于特定对象部位(像素)的垂直变量j(S350)。接着，特定物初步确定单元164在垂直变量j上加“1”(累加)的同时初始化水平变量i(代入“0”)(S352)。然后，特定物初步确定单元164在水平变量上加“1”，并初始化特定物变量m(代入“0”)(S354)。在此，设定水平变量i和垂直变量j是为了对整个600×200的像素执行该特定物映射图生成处理，设定特定物变量m是为了对每个像素顺序地比较八个特定物。

特定物初步确定单元164使亮度获取单元160从亮度图像124中获得作为对象部位的像素(i，j)的亮度(S356)，并在特定物变量m中加“1”(S358)，获得特定物(m)的亮度范围202(S360)，并判断像素(i，j)是否被包含在特定物(m)的亮度范围202(S362)。

若像素(i，j)的亮度被包含于特定物(m)的亮度范围202(S362的“是”)，则特定物初步确定单元164对于该像素对应地赋予表示特定物(m)的识别号p而变成像素(i，j，p)(S364)。由此，生成对亮度图像124中的各个像素赋予识别号的特定物映射图210。而且，若像素(i，j)的亮度未包含在特定物(m)的亮度范围202(S362的“否”)，则判断特定物变量m是否大于等于作为特定物的最大数量的8(S366)。在此，若特定物变量m并未大于等于最大值(S366的“否”)，则从步骤S358的特定物变量m的累加处理开始重复执行。而且，若特定物变量m大于等于最大值(S366的“是”)，则认为对应于该像素(i，j)的特定物不存在，处理转到下一步骤S368。

接着，特定物初步确定单元164判断水平变量i是否大于等于作为水平像素的最大值的600(S368)，若水平变量i并没有大于等于最大值(S368的“否”)，则从步骤S354的水平变量i的累加处理开始重复执行。而且，若水平变量i大于等于最大值(S368中的“是”)，则特定物初步确定单元164判断垂直变量j是否大于等于作为垂直像素的最大值的200(S370)。接着，若垂直变量j并没有大于等于最大值(S370的“否”)，则从步骤S352的垂直变量j的累加处理开始重复执行。而且，若垂直变量j大于等于最大值(S370的“是”)，则终止该特定物映射图的生成处理。

(特定物初步确定处理S302)

参照图9，特定物确定单元164初始化(代入“0”)用于特定对象部位(像素)的垂直变量j(S400)。接着，特定物初步确定单元164在垂直变量j上加“1”的同时初始化水平变量i(代入“0”)(S402)。然后，特定物初步确定单元164在水平变量i上加“1”(S404)。

特定物初步确定单元164提取作为对象部位的像素(i，j)(S406)，并判断该像素(i，j)上是否对应赋予特定物的识别号p(S408)。在此，若对应赋予了识别号(S408的“是”)，则特定物初步确定单元164使位置信息获取单元162获得相当于亮度图像124的像素(i，j，p)的距离图像126的视差信息(S410)。接着，特定物初步确定单元164将包含视差信息dp的像素(i，j，p，dp)坐标变换为实际空间上的点(x，y，z)变成像素(i，j，p，dp，x，y，z)(S412)。此时，当视差信息dp以区块单位被分配时，通过对该区块内的所有像素设定相同的视差信息dp而变换为像素单位。然后，判断实际空间上的点的高度y是否包含于由该识别号p表示的特定物的高度范围204(S414)。

若该高度y并未包含于通过识别号p表示的特定物的高度范围204(S414的“否”)，则特定物初步确定单元164重置(代入“0”)与像素(i，j，p，dp，x，y，z)相关的识别号p，使其变成像素(i，j，0，dp，x，y，z)(S416)。若高度y被包含于通过识别号p表示的特定物的高度范围204(S414的“是”)，则维持识别号。由此，像素(i，j，p，dp，x，y，z)被初步确定为特定物。而且，若判断为没有对应地赋予识别号(S408的“否”)，则转移到下一步骤S418。

接着，特定物初步确定单元164判断水平变量i是否大于等于作为水平像素的最大值的600(S418)，若水平变量i没有大于等于最大值(S418的“否”)，则从步骤S404的水平变量i的累加处理开始重复执行。而且，若水平变量i大于等于最大值(S418的“是”)，则特定物初步确定单元164判断垂直变量j是否大于等于作为垂直像素的最大值的200(S420)。然后，若垂直变量j没有大于等于最大值(S420的“否”)，则从步骤S402的垂直变量j的累加处理开始重复执行。而且，若垂直变量j大于等于最大值(S420的“是”)，则终止该特定物初步确定处理。由此，在亮度图像124中的各个像素中借助识别号初步确定特定物。

而且，在此，虽然分开执行特定物映射图生成处理和特定物初步确定处理，但上述两个处理可以在水平变量i和垂直变量j的循环内同时执行。

(群组化处理S304)

参照图10，群组化单元166参照用于群组化对象部位的预定范围(S450)，初始化(代入“0”)用于特定对象部位(像素)的垂直变量j(S452)。接着，群组化单元166在垂直变量j上加“1”的同时初始化(代入“0”)水平变量i(S454)。接着，群组化单元166在水平变量i上加“1”(S456)。

群组化单元166从亮度图像124获取作为对象部位的像素(i，j，p，dp，x，y，z)(S458)。然后，判断该像素(i，j，p，dp，x，y，z)上是否对应赋予特定物的识别号p(S460)。在此，若对应赋予识别号p(S460的“是”)，则群组化单元166判断在该像素(i，j，p，dp，x，y，z)的实际空间上的坐标(x，y，z)的预定范围之内是否存在对应赋予相同的识别号p的其他像素(i，j，p，dp，x，y，z)(S462)。

若存在识别号相同的其他像素(i，j，p，dp，x，y，z)(S462的“是”)，则群组化单元166判断包括自身的预定范围内的所有像素的任意像素是否被赋予了群组号g(S464)。若任意一个像素被赋予群组号g(S464中的“是”)，则群组化单元166对于包含于预定范围内的所有像素及被赋予同一群组号g的所有像素，赋予所赋予的群组号中最小的群组号g以及还没有用作群组号的号中的最小值中的相对小的一个值，从而变成像素(i，j，p，dp，x，y，z，g)(S466)。而且，若任意一个像素均未被赋予群组号g(S464的“否”)，则对包含自身的预定范围内的所有像素新赋予还没有用作群组号的号中的最小值(S468)。

由此，当预定范围之内存在多个识别号相同的对象部位时，通过赋予一个群组号g而执行群组化。此时，当多个对象部位的任意一个均未被赋予群组号g时，赋予新的群组号，当多个对象部位的某些已经被赋予群组号g时，赋予与此相同的群组号g。但是，当多个对象部位中存在多个群组号g时，因为应视为一个群组，因此将该对象部位的所有的群组号g置换为一个群组号g。

此时，不仅对被包含于预定范围之内的所有的像素，还对被赋予同一群组号g的所有像素的群组号g进行一次性变更的理由在于：通过群组号g的变更，避免已经被统一的群组分离。而且，在最小的群组号g以及还未用作群组号的号中的最小值中采用相对小的一个值的理由在于：对组标号时，尽可能避免出现空号。据此，防止群组号g的最大值无端地变大，从而能够减轻处理负荷。

若没有对应赋予识别号p(S460的“否”)，或者不存在识别号p相同的其他像素(S462的“否”)，则转移到下一步骤S470。

接着，群组化单元166判断水平变量i是否大于等于作为水平像素的最大值的600(S470)，若水平变量i并没有大于等于最大值(S470的“否”)，则从步骤S456的水平变量i的累加处理开始重复执行。而且，若水平变量i大于等于最大值(S470的“是”)，则群组化单元166判断垂直变量j是否大于等于作为垂直像素的最大值的200(S472)。然后，若垂直变量j没有大于等于最大值(S472中的“否”)，则从步骤S454的垂直变量j的累加处理开始重复。而且，若垂直变量j大于等于最大值(S472的“是”)，则终止该群组化处理。

(特定物确定处理S306)

参照图11，特定物确定单元168初始化(代入“0”)用于特定群组的群组变量k(S500)。接着，特定物确定单元168在群组变量k上加“1”(S502)。

特定物确定单元168判断亮度图像124中是否存在群组号g为群组变量k的对象物(S504)，若存在(S504的“是”)，则计算被赋予该群组号g的对象物的大小(S506)。接着，判断所计算出的大小是否被包含在以对群组号g为群组变量k的对象物对应赋予的识别号p表示的特定物的宽度范围206(S508)。

若大小被包含于以识别号p表示的特定物的宽度范围206(S508的“是”)，则特定物确定单元168将该对象物确定为特定物(S510)。若大小未包含于以识别号p表示的特定物的宽度范围206(S508的“否”)，或不存在群组号g为群组变量k的对象物时(S504的“否”)，处理转移到下一步骤S512。

接着，特定物确定单元168判断群组变量k是否大于等于群组化处理中设定的群组号的最大值(S512)。然后，若群组变量k没有大于等于最大值(S512中的“否”)，则从步骤S502的群组变量k的累加处理开始重复执行。而且，若群组变量k大于等于最大值(S512中的“是”)，则终止该特定物确定处理。据此，被群组化的对象物正式被确定为特定物。

如以上的说明，由于环境识别装置130通过亮度和高度等多个参数特定对象物，因此迅速特定对象物而能够提高特定效率、缩短处理时间并减轻处理负荷。

而且，仅在满足亮度、高度或者亮度、高度、大小等所有的条件时，才特定该特定物，因此能够提高特定精度。

而且，还提供将计算机作为环境识别装置130而功能化的程序或记录该程序的计算机可读软盘、光磁盘、ROM、CD、DVD、BD等记录介质。在此，程序是利用任意的语言或记述方法记述的数据处理方法。

以上的说明中，参照附图对本发明的优选实施方式进行了说明，但是本发明并不局限于已说明的实施方式。本发明所属领域的技术人员应知道在权利要求书所记载的范畴之内导出各种变更例或修改例是显而易见的，但显然这些都属于本发明的技术范围。

在上述的实施方式中，首先排他性地将对象部位的亮度与任意一个特定物对应，然后判断对象部位的高度以及将对象部位群组化的对象物的大小作为特定物是否恰当。但是，不限于这种情况，也可以将特定物、亮度、高度、大小中的任意一个作为基准进行判断，且其判断顺序也可以任意地设定。

而且，在上述实施方式中，基于利用多个摄像装置110的图像数据之间的视差导出对象物的三维位置，但并不局限于所说明的情况，例如，可以利用激光雷达测距装置等已知的各种距离测量装置。在此，激光雷达测距装置通过向检测区域122发射激光光束，并接收该激光光束到达物体之后反射的光，从而根据所需时间测量至物体的距离。

而且，在上述的实施方式中，举出位置信息获取单元162从图像处理装置120接收距离图像(视差信息)126而生成三维位置信息的例子。但是，并不局限于所说明的情况，也可以由图像处理装置120预先生成三维的位置信息，再由位置信息获取单元162获取所生成的三维位置信息。据此，实现功能的分散，能够减轻环境识别装置130的处理负荷。

而且，在上述的实施方式中，亮度获取单元160、位置信息获取单元162、特定物初步确定单元164、群组化单元166、特定物确定单元168、图案匹配单元170由中央控制单元154通过软件进行操纵。但是，上述的功能单元也可以由硬件构成。

而且，特定物确定单元168基于例如对象物的大小被包含于特定物的宽度范围206的情况来确定特定物，但并不局限于此，也可以在满足其他各种条件时确定为特定物。例如，对象物中的水平方向和铅直方向的相对距离的推移几乎相等(连续)时或相对于z坐标的相对移动速度相同时确定为特定物。此时，对象物中的水平方向及铅直方向的相对距离的推移可根据借助霍夫变换或最小平方法的近似直线确定。

在此，本说明书中的环境识别方法的各个步骤并不一定要按照流程图中记载的顺序按时间顺序进行处理，也可以包含并行处理或依据子程序的处理。

产业上的可利用性

本发明可利用于基于检测区域中的对象物的亮度识别该对象物的环境识别装置及环境识别方法。

Claims (9)

1.一种环境识别装置，其特征在于，包括：

数据存储单元，将亮度范围和自道路表面的高度范围与特定物对应而存储；

亮度获取单元，获取检测区域内的对象部位的亮度；

位置信息获取单元，获取所述对象部位的高度；

特定物初步确定单元，基于存储于所述数据存储单元的对应关系，从所述对象部位的亮度和高度初步确定对应于所述对象部位的特定物。

2.根据权利要求1所述的环境识别装置，其特征在于，所述位置信息获取单元获取将相当于所述检测区域内的对象部位相对于本车辆的相对距离的信息对应于拍摄该检测区域的图像的距离图像，并基于该相对距离、与该对象部位处于相同的相对距离的道路表面上的点与该对象部位在该距离图像上的检测距离，导出高度。

3.根据权利要求1或2所述的环境识别装置，其特征在于，还包括群组化单元，将水平距离的差值以及高度的差值在预定范围内的、初步确定为对应于同一特定物的对象部位进行群组化而作为对象物；特定物确定单元，将所述对象物确定为所述特定物。

4.根据权利要求3所述的环境识别装置，其特征在于，所述群组化单元对于相对距离的差值在预定范围之内的、初步确定为对应于同一特定物的对象部位进行群组化。

5.根据权利要求3所述的环境识别装置，其特征在于，所述数据存储单元在所述特定物上进一步对应大小范围进行存储，所述特定物确定单元基于存储在所述数据存储单元的对应关系，根据所述对象物的大小将所述对象物确定为所述特定物。

6.根据权利要求4所述的环境识别装置，其特征在于，所述数据存储单元在所述特定物上进一步对应大小范围进行存储，所述特定物确定单元基于存储在所述数据存储单元的对应关系，根据所述对象物的大小将所述对象物确定为所述特定物。

7.根据权利要求3所述的环境识别装置，其特征在于，所述特定物初步确定单元对于多个对象部位的每一个判断是否对应于从多个特定物顺序地选择出的一个特定物，并初步确定对应于所述对象部位的特定物。

8.根据权利要求4所述的环境识别装置，其特征在于，所述特定物初步确定单元对于多个对象部位的每一个判断是否对应于从多个特定物顺序地选择出的一个特定物，并初步确定对应于所述对象部位的特定物。

9.一种环境识别方法，其特征在于，包括如下步骤：

获取检测区域内的对象部位的亮度；

获取所述对象部位的高度；

基于存储在数据存储单元的亮度范围和自道路表面的高度的范围与特定物的对应关系，根据所述对象部位的亮度和高度初步确定与所述对象部位对应的特定物。

Images