CN102789698B - 环境识别装置以及环境识别方法 - Google Patents

Abstract

本发明提供的环境识别装置，包括：位置信息获取单元，获取包含存在于检测区域内的对象部位相对本车辆的相对距离的位置信息；群组化单元，将与本车辆的行进方向垂直的水平距离的差值以及与本车辆的行进方向平行的相对距离的差值在第一预定距离内连续的多个对象部位群组化为对象物；候补判断单元，当构成所述对象物的多个对象部位形成相对于与本车辆的行进方向垂直的平面倾斜预定角度以上的倾斜面时，判断为作为墙壁的候补的墙壁候补；墙壁判断单元，将与本车辆的行进方向垂直的水平距离的差值以及与本车辆的行进方向平行的相对距离的差值在相比所述第一预定距离更长的第二预定距离内连续的多个所述墙壁候补判断为墙壁。

Description

环境识别装置以及环境识别方法

技术领域

本发明涉及一种基于在检测区域的对象物的亮度而识别该对象物的环境识别装置以及环境识别方法。

背景技术

以往，检测位于本车辆前方的车辆或信号灯等所谓障碍物的对象物，并对本车辆进行控制以避免与所检测出的对象物发生碰撞或使本车辆与前行车辆的车距保持在安全距离的技术已被为人所知。

在这样的技术中，例如针对用两台摄像机拍摄的本车辆的前方的图像，执行立体匹配处理，导出预定数量的像素的每个区块的视差。并且，基于该视差来导出实际空间上的位置。

尤其，还存在如下技术：不仅将对象物一律特定为物体，而且为了进行更高精度的控制，还存在判断对象物是以与本车辆相同的速度行驶的前行车辆，还是不移动的被固定的物体等。

例如，将相对本车辆的行进方向倾斜预定角度而检测出来的各个点判断为护栏等的墙壁，并将沿着相对本车辆的行进方向垂直的平面的水平方向检测出来的各个点判断为前行车辆的背面侧等的技术被提出来(例如，专利文献1)。

现有技术文献

专利文献1：日本特开2008-59323号公报

然而，例如当在夜间或下雨天气中，尾灯的光产生散射时，在立体匹配处理中，不表示尾灯的区块被误匹配为显示尾灯的区块。此时，从该错误的匹配所导出的尾灯在实际空间上的位置被识别成，相对本车辆的行进方向倾斜预定角度。于是，在上述专利文献1的技术中，本该被判断为前行车辆的背面侧的部分有可能被判断为墙壁。当在行进方向检测出被识别为墙壁的物体时，可能会进行本来不需要的自动控制，以进行躲避动作。

发明内容

本发明鉴于这样的问题，目的在于提供一种在夜间或降雨等光源容易散射的环境下，能够防止将非墙壁的物体误判断为墙壁的环境识别装置以及环境识别方法。

为了解决上述问题，本发明的环境识别装置，其特征在于，具备：位置信息获取单元，获取包含存在于检测区域内的对象部位相对本车辆的相对距离的位置信息；群组化单元，将与本车辆的行进方向垂直的水平距离的差值、以及与本车辆的行进方向平行的相对距离的差值在第一预定距离内连续的多个对象部位群组化为对象物；候补判断单元，当构成对象物的多个对象部位形成相对于与本车辆的行进方向垂直的平面倾斜预定角度以上的倾斜面时，将对象物判断为作为墙壁的候补的墙壁候补；墙壁判断单元，将与本车辆的行进方向垂直的水平距离的差值、以及与本车辆的行进方向平行的相对距离的差值在相比第一预定距离更长的第二预定距离内连续的多个墙壁候补判断为墙壁。

优选地，群组化单元可基于与本车辆的行进方向垂直的水平距离的差值、以及与本车辆的行进方向平行的相对距离的差值，并进一步基于自道路表面的高度的差值，进行群组化的判断，墙壁判断单元可基于与本车辆的行进方向垂直的水平距离的差值、以及与本车辆的行进方向平行的相对距离的差值，并进一步基于自道路表面的高度的差值，进行墙壁的判断。

优选地，还可以具备判断在检测区域是否为光被散射的环境的环境判断单元，当环境判断单元判断为不是光被散射的环境时，墙壁判断单元将全部墙壁候补判断为墙壁。

优选地，还可以具备：距离导出单元，导出沿着对象物的图像的水平方向并排的每个对象部位群与相对于本车辆的行进方向平行的相对距离的平均值；群组分割单元，当以图像的垂直方向的位置的顺序并排的、平均值的数据列的轨迹的微分值，超过预定阈值时，以对象部位群为分界来分割，跨着已超出预定阈值的对象部位群而被群组化的对象物。

优选地，群组分割单元可基于构成对象物的所有对象部位的相对距离的平均值而确定预定阈值。

为了解决上述问题，本发明的环境识别方法，其特征在于，包括如下步骤：获取包含存在于检测区域内的对象部位相对本车辆的相对距离的位置信息；将与本车辆的行进方向垂直的水平距离的差值、以及与本车辆的行进方向平行的相对距离的差值在第一预定距离内连续的多个对象部位群组化为对象物；当构成对象物的多个对象部位形成相对于与所述本车辆的行进方向垂直的平面倾斜预定角度以上的倾斜面时，将对象物判断为作为墙壁的候补的墙壁候补；将与本车辆的行进方向垂直的水平距离的差值、以及与本车辆的行进方向平行的相对距离的差值在相比第一预定距离更长的第二预定距离内连续的多个所述墙壁候补判断为墙壁。

根据本发明，在夜间或降雨等光源容易被散射的环境中，能够防止非墙壁的对象物被误判断为墙壁的情况，因此可以防止针对误判断为墙壁的对象物的非必要的躲避动作的发生。

附图说明

图1是示出环境识别系统的连接关系的方框图。

图2是示出用于说明亮度图像和距离图像的说明图。

图3是示出环境识别装置的概略的功能的功能方框图。

图4为用于说明通过位置信息获取单元变换为三维位置信息的说明图。

图5是用于说明群组化单元的处理的说明图。

图6是示出夜间的亮度图像的一例的说明图。

图7是用于说明墙壁判断处理的说明图。

图8是用于说明群组分割处理的说明图。

图9是用于说明群组分割处理的说明图。

图10是用于说明群组分割处理的说明图。

图11是示出环境识别方法的整体流程的流程图。

图12是示出群组化处理的流程的流程图。

图13是示出墙壁判断处理的流程的流程图。

图14是示出群组分割处理的流程的流程图。

主要符号说明：

1：本车辆

130：环境识别装置

160：位置信息获取单元

162：群组化单元

164：候补判断单元

166：墙壁判断单元

168：环境判断单元

170：距离导出单元

172：群组分割单元

174：图案匹配单元

具体实施方式

以下，参照附图详细说明本发明的优选实施方式。所涉及的实施方式中所示的尺寸、材料、其他具体数值等是仅仅是为了使发明容易理解而例示的，除了特别指定的情况之外，并不能用来限定本发明。在此，本说明书及附图中，对于具有实质上相同的功能、结构的要素，通过赋予相同的符号的方式省略重复性说明，而且对与本发明没有直接关系的要素省略了图示。

(环境识别系统100)

图1为示出环境识别系统100的连接关系的方框图。环境识别系统100包含设置在车辆1内的多个(本实施方式中为两个)摄像装置110、图像处理装置120、环境识别装置130、车辆控制装置140。

摄像装置110包含电荷耦合器件(CCD，Charge-Coupled Device)或互补金属氧化半导体(CMOS，Complementary Metal-Oxide Semiconductor)等摄像器件，能够获取彩色图像，即，像素单位中可获取三个色相(红、绿、蓝)的亮度。在本实施方式中，把颜色和亮度同等看待，在同一篇文章里包含两个语句时，可相互交替读取为构成颜色的亮度或具有亮度的颜色。在此，由摄像装置110所拍摄的彩色图像称为亮度图像，区别于后述的距离图像。而且，摄像装置110为两个，两个摄像装置110在大致水平方向上分开布置，以在车辆1的行驶方向侧两个摄像装置110各自的光轴大致平行。摄像装置110每隔例如1/60秒(60fps)连续生成拍摄车辆1前方的检测区域中的对象物的图像数据。这里，对象物不仅包括车辆、信号灯、道路、护栏等独立存在的立体物，还包括尾灯或转向指示灯、信号灯的各个照明部分等能够特定为立体物的部分的物体。在以下实施方式中的各个功能单元以这种图像数据的更新为契机执行各种处理。

图像处理装置120从两个摄像装置110分别获取图像数据，并基于两个图像数据导出包含图像中的任意区块(集合预定数量的像素的区块)的视差以及示出任意区块在画面中的位置的画面位置的视差信息。图像处理装置120采用从另一个像素数据搜索对应于从一个图像数据任意抽出的区块(例如，水平4像素×垂直4像素的阵列)的区块的所谓的图案匹配而导出视差。在此，水平是指所拍摄的图像的画面横向方向，相当于实际空间中的水平方向。而且，垂直是指所拍摄的图像的画面纵向方向，相当于实际空间中的竖直方向。

所述图案匹配是指，在两个图像数据之间以示出任意图像位置的区块单位比较亮度值(Y色差信号)的方法。例如，包括求出亮度值的差值的绝对差值和(SAD，Sum of Absolute Difference)、将差值平方后使用的差值的平方和(SSD，Sum of Squared intensity Difference)、求出从各个像素的亮度值减去了平均值的分散值的相似度的归一化互相关(NCC，Normalized CrossCorrelation)等方法。图像处理装置120对于被显示在检索区域(例如，600像素×200像素)的全部区块执行这种区块单位的视差导出处理。在此，将区块设定为4像素×4像素，但区块内的像素数量可以任意地设定。

但是，在图像处理装置120中，虽然对作为检测分辨率的单位的每个区块能够导出视差，但无法识别该区块是哪种对象物的一部分。因此，视差信息不是以对象物单位，而是以检测区域的检测分辨率单位(例如区块单位)来独立地导出出来。在此，将如此导出的视差信息(相当于后述的相对距离)映射到图像数据的图像称为距离图像。

图2为用于说明亮度图像124和距离图像126的说明图。例如，假设通过两个摄像装置110针对检测区域122生成图2(a)所示的亮度图像(图像数据)124。但是，这里，为了便于理解，仅模式性地示出两个亮度图像124中的一个。在本实施方式中，图像处理装置120从这种亮度图像124求出每个区块的视差，从而形成图2(b)所示的距离图像126。对于距离图像126中的各个区块来说，其区块的视差相互关联。在此，为了便于说明，将导出视差的区块以黑点表示。

对于视差来说，容易在图像的边缘部分(相邻像素之间明暗的差值较大的部分)被特定，因此在距离图像126中，赋予黑点的、导出视差的区块在亮度图像124中也大多形成边缘。因此，图2(a)所示的亮度图像124和图2(b)所示的距离图像126在各个对象物的轮廓上相互近似。

环境识别装置130利用所谓的立体视觉法将距离图像126中的检测区域122内的每个区块的视差信息(距离图像126)变换为包含相对距离的三维位置信息，特定本车辆1外的道路形状或立体物。这里，立体视觉法是通过使用三角测量法从对象物的视差导出该对象物相对于摄像装置110的相对距离的方法。对于环境识别装置130将在后面详述。

车辆控制装置140执行避免本车辆与通过环境识别装置130特定的对象物碰撞或使本车辆与前行车辆的车间距保持在安全距离的控制。具体来说，车辆控制装置140通过用于检测方向盘角度的舵角传感器142和用于检测车辆1的速度的车速传感器144等获得当前的车辆1的行驶状态，并通过控制致动器146将车辆1与前行车辆的车间距保持在安全距离。在此，致动器146是用于控制刹车、节气阀、舵角等的车辆控制用致动器。而且，当推断出将与对象物产生碰撞时，车辆控制装置140在设置在驾驶者前方的显示器148进行相应警告显示(报警)的同时，控制致动器146使车辆1自动地减速。车辆控制装置140也可以与环境识别装置130形成为一体。

(环境识别装置130)

图3为示出环境识别装置130的概略的功能的功能方框图。如图3所示，环境识别装置130包括I/F单元150、数据存储单元152、环境检测单元154、中央控制单元156。

I/F单元150是用于与图像处理装置120和车辆控制装置140进行双向信息交换的接口。数据存储单元152由RAM、闪存、HDD等构成，以用于存储以下所示各个功能单元的处理中所必要的各种信息，而且暂时存储从图像处理装置120接收的亮度图像124、距离图像126。

例如，环境检测单元154由监测是否为夜间的夜间检测单元和检测降雨的雨检测单元构成，当检测出是夜间或降雨时，将显示已检测到是夜间或降雨的事实的检测信息输出到后述的环境判断单元168。并且，环境检测单元154不局限于检测是否为夜间或降雨环境，还可以检测摄像装置110的拍摄变成逆光等，所拍摄的图像中的光源的光被散射的环境。例如，夜间检测单元可将本车辆1的夜间灯的点亮检测为处于夜间。夜间检测单元和雨检测单元使用现有的各种技术而实现，因此在此省略其构成等详细的说明。

中央控制单元156由包括中央处理装置(CPU)、存储有程序等的只读存储器、作为工作区的RAM等的半导体集成电路构成，通过系统总线158来控制I/F单元150、数据存储单元152以及环境检测单元154。并且，在本实施方式中，中央控制单元156还具有位置信息获取单元160、群组化单元162、候补判断单元164、墙壁判断单元166、环境判断单元168、距离导出单元170、群组分割单元172、图案匹配单元174的功能。

位置信息获取单元160使用立体法，将由图像处理装置120导出的检测区域122内的每个区块的视差信息转换成包括水平距离x、高度y以及相对距离z的三维的位置信息。其中，假设对象部位是像素或集中像素的区块，且在本实施方式中，对象部位具有与在图像处理装置120中使用的区块同等的大小。

对应于由图像处理装置120导出的视差信息表示距离图像126中的各对象部位的视差的信息，三维的位置信息则表示在实际空间中的各对象部位的相对距离的信息。从而，当使用相对距离或高度等术语时表示实际空间上的距离，当使用检测距离等术语时表示距离图像126上的距离。

图4为用于说明通过位置信息获取单元160变换为三维位置信息的说明图。位置信息获取单元160首先将距离图像126识别为如图4所示的像素单位的坐标系。这里，在图4中，将左下角设定为原点(0，0)，横向方向设定为i坐标轴，纵向方向设定为j坐标轴。因此，具有视差dp的像素能够由像素位置i、j和视差dp表示为(i，j，dp)。

将本实施方式中的实际空间上的三维坐标系假设为以车辆1为中心的相对坐标系。在此，将车辆1的行进方向右侧方设定为X轴的正方向，车辆1的上方设定为Y轴的正方向，车辆1的行进方向(前方)设定为Z轴的正方向，经过两个摄像装置110的中央的铅直线和道路表面的交点作为原点(0，0，0)。此时，假设道路为平面时，道路表面与X-Z平面(y＝0)一致。位置信息获取单元160通过以下的数学式1～数学式3将距离图像126上的区块坐标(i，j，dp)变换为实际空间上的三维的点坐标(x，y，z)。

x＝CD/2+z·PW·(i-IV)    ...数学式1

y＝CH+z·PW·(j-JV)    ...数学式2

z＝KS/dp    ...数学式3

在此，CD为摄像装置110之间的间隔(基线长度)，PW为每一个像素的视角，CH为摄像装置110自道路表面的布置高度，IV、JV为车辆1的正面方向无限远端的图像上的坐标(像素)，KS为距离系数(KS＝CD/PW)。

群组化单元162将与本车辆1的行进方向垂直的水平距离x的差值以及与本车辆1的行进方向平行的相对距离z的差值在第一预定距离内连续的多个对象部位群组化为对象物。具体来说，群组化单元162以导出实际空间上的位置的任意的对象部位为基准点，将该对象部位和水平距离x的差值以及该对象部位和相对距离z的差值处于第一预定距离内的对象部位群组化，以作为对象物。在此，第一预定距离以实际空间上的距离来表示，可以被设置为任意的值(例如，1.0m等)。而且，在此多个对象部位连续是指，多个对象部位位于一次以上的次数的同一条曲线上。

并且，群组化单元162对于通过群组化而新增加的对象部分，也以该对象部位为基准点，将水平距离x的差值以及相对距离z的差值在第一预定距离内的、特定物相同的对象部位群组化。其结果，若对象部位之间的距离在第一预定距离内，则这些全部将会被群组化。

图5是用于说明前行车辆200的对象部位202的群组化的说明图。假设，生成有如图5(a)所示的亮度图像124。图5(b)、(c)、(d)示出从实际空间上的竖直上方看到的、该亮度图像124中的行驶道路204上的前行车辆200的俯视图。

当图5(b)所示的前行车辆200的背面侧的对象部位202被检测成如图5(c)所示的情况时，群组化单元162群组化这些对象部位202，使其成为如图5(d)所示的对象物。

由此，前行车辆200的背面侧的对象部位202被检测为与X轴方向大致平行。另外，护栏等的墙壁的对象部位形成相对X轴方向倾斜预定角度(例如，45度)以上的任意的倾斜面。在此情况下，当检测墙壁时，可以进行搜索由形成相对X轴方向倾斜预定角度以上的任意的倾斜面的对象部位所构成的对象物的处理。但是，此时，在夜间或降雨天等，可能误检测出墙壁。

图6是示出夜间的亮度图像124的一例的说明图。如图6所示，在前行车辆200的背面侧的尾灯208被点亮。但是，因为是在夜间，因此尾灯208的光被散射而变得模糊。此时，图像处理装置120导出的视差信息中会产生误差。

图7是用于说明墙壁判断处理的说明图。在图7(a)中示例性地示出，对与图5(c)类似的前行车辆200的背面侧的对象部位202进行检测的结果，夜间中视差信息产生误差的情况。

如图7(a)所示，当在夜间等时候，视差信息有误差时，原来应该被检测为相对X轴方向平行的对象部位202，被检测为形成相对X轴方向倾斜预定角度以上的倾斜面的对象部位202。于是，群组化该对象部位202的对象物206a被误检测为墙壁。

在本实施方式中，候补判断单元164、墙壁判断单元166以及环境判断单元168具有避免这种墙壁的误检测的功能。以下，详细描述依据候补判断单元164、墙壁判断单元166、环境判断单元168的墙壁判断处理。

(墙壁判断处理)

候补判断单元164判断作为高度y在0以上的(位于道路表面之上)对象物206而被群组化的多个对象部件202，是否形成相对与本车辆1的前进方向垂直的平面倾斜预定角度以上的倾斜面。即，判断对象部位202是否形成相对X轴方向倾斜预定角度以上的任意的倾斜面。在本实施方式中，候补判断单元164为了提高墙壁的检测精度，将由至少三个对象部位202构成的对象物作为判断对象。

当位于倾斜面上时，候补判断单元164不会仅据此来判断由该对象部位群组化的对象物是墙壁，而是暂且判断为作为墙壁的候补的墙壁候补。如图7(a)的情况，对象物206a被判断为墙壁候补。

墙壁判断单元166判断以对象物206a的中心位置作为中心，在X轴方向的第二预定距离的范围内(例如，图7(b)所示的AB的范围内，5.0m以内)且在Z轴方向的第二预定距离的范围内，是否有其他墙壁候补。第二预定距离比所述第一预定距离更长。

在7(b)的示例中，对象物206a、206b是从前行车辆200的背面侧检测出来的对象物，因此在对象物206a的附近没有其他墙壁候补。由此，当检测不出其他墙壁候补时，墙壁判断单元166判断出该墙壁候补不是墙壁。

并且，在图7(b)的示例中，当对象物206b也依据其排列被判断为墙壁候补时，对象物206a、206b可能会被判断为墙壁。

护栏等的墙壁具有相对X轴方向倾斜预定角度以上的倾斜面。因此，对于从墙壁检测出的多个墙壁候补来说，对象部位容易聚集在同一倾斜面上。另外，当从前行车辆200的背面侧等误检测出多个墙壁候补时，该对象部位聚集在同一倾斜面的可能性较低。

由此，当针对成为墙壁候补的对象物，从连接作为该对象物而被群组化的对象部位的线的延长线到预定距离内，存在其他墙壁候补时，墙壁判断单元166将这些墙壁候补判断为墙壁。并且，不限于连接对象部位的线，例如还可以是将对象部位的位置作为样本而导出的近似曲线。通过这种构成，墙壁判断单元166可以进行高精度的墙壁的判断。

此时，墙壁判断单元166集合判断为非墙壁的墙壁候补(对象物206a)和、位于从该墙壁候补到例如在X轴方向以及Z轴方向的第三预定距离的范围内(例如，如图7(c)所示的CD的范围内，3.0m以内)的、不是墙壁候补的对象物206b，将这些对象物视为一个对象物206c(如图7(d)所示)。

由此，通过集合判断为不是墙壁的墙壁候补和其他对象物，后述的图案匹配单元174可以高精度地判断所聚集的对象物206c是例如前行车辆200的背面侧。

图7(e)示出从转弯处的护栏中检测出的对象物206d、206e、206f、206g、206h。此时，墙壁判断单元166以对象物206d的中心位置为中心，检测在X轴方向以及Z轴方向接近第二预定距离的范围内的对象物206e。相同地，墙壁判断单元166依次检测出接近于对象物206e的对象物206f、接近于对象物206f的对象物206g，直到检测出对象物206d～206h为止。

并且，如图7(f)所示，墙壁判断单元166将这些接近第二预定距离内连续的多个墙壁候补判断为墙壁210。

尾灯等的光源相比墙壁在X-Z平面方向的大小较小。本实施方式的墙壁判断单元166为，当多个墙壁候补连续时判断为墙壁，即使单独检测出墙壁候补也不会判断为墙壁。因此，墙壁判断单元166当因光的散射而尾灯等形成诸如墙壁的倾斜面以致被误检测时，也不会将尾灯等判断为墙壁，从而可防止墙壁的误检测。

环境判断单元168判断检测区域122中是否是光被散射的环境。此时，光被散射的环境可以是，例如因在夜间、降雨等，在挡风玻璃上附着因水滴或者擦拭该水滴而成的水的痕迹等的状况等。当由环境检测单元154输出的检测信息表示是夜间或降雨环境时，环境判断单元168判断检测区域122是光被散射的环境。

并且，当环境判断单元168判断为不是光被散射的环境时，墙壁判断单元166将全部墙壁候补判断为墙壁。这是因为，当不是如图6所示的光被散射的环境时，视差信息产生误差的可能性较低。依据这种构成，当不是光被散射的环境时，墙壁判断单元166可以降低墙壁判断处理的处理负荷。

(群组分割处理)

接着，针对没有被判断为墙壁的对象物，详细阐述将错误地被集合成一个而群组化了的对象物分割为个别的对象物的群组分割处理。

图8、图9是用于说明群组分割处理的说明图。图8(a)是实际的亮度图像124的一例，图8(b)示出对应于亮度图像124的距离图像126。但是，从距离图像126省略对于群组分割处理的说明不必要的要素。如8(a)、8(b)所示，假设在本车辆1的行驶道路220中，公共汽车222和轿车224沿着行进方向前后并排地行驶，且相对距离z是比较接近的值。此时，如图8(c)所示，公共汽车222和轿车224前后并排的两台车辆，存在被误检测为一个集合的对象物226的情况。

因此，距离导出单元170导出图8(d)中用箭头所示的、对象物226的于距离图像126的水平方向并排的每个对象部位群的相对距离z的平均值。

当从X轴方向观察公共汽车222和轿车224时，如图9(a)所示地并排着。从本车辆1观察时，可照射出位于跟前的轿车224的全部背面侧，但是公共汽车22的背面侧的一部成为轿车224的阴影而无法照射到亮度图像124。因此，当将沿着水平方向并排的每个对象部位群的相对距离z的平均值绘制到距离图像126的j坐标轴和Z轴的坐标上，并描绘轨迹时，成为诸如图9(b)所示的图。

图9(c)是将图9(b)的坐标轴旋转90度并反转左右方向的图。在图9(c)，在虚线228的部分，相比于j坐标值的变化，相对距离z的变化非常大。在亮度图像124中，该垂直位置c对应于公共汽车222与轿车224的分界部分。

首先，群组分割单元172导出以j坐标值的顺序排列的、相对距离z的平均值的数据列的轨迹的微分值，并与预定阈值比较，确定超过预定阈值的对象部位群的垂直位置c。

图10是用于说明群组分割处理的说明图。当确定垂直位置c时，群组分割单元172以该垂直位置c作为分界而分割图10(a)所示的跨着垂直位置c而被群组化的对象物226(如图10(b)所示)，并作为新的两个对象物226a、226b。

由此，分组分割单元172将原来该作为不同的群组而被群组化的、但是集合成一个群组的对象物226准确地分割成个别对象物226a、226b。据此，环境识别装置130可以提高后述的图案匹配处理等的精度。

并且，群组分割单元172基于构成对象物226的全部对象部位的相对距离z的平均值，确定预定阈值。

由位置信息获取单元160导出的位置是，相对距离z越远，则距离分辨率越低。因此，群组分割单元172对应于相对距离z来调整预定阈值，以用于忽略距离分辨率以下的值。通过这种构成，群组分割单元172可以避免因距离分辨率以下的误差的影响而使对象物226被错误地分割的情形。

图案匹配单元174与事先保存在数据存储单元152的立体物的模型数据执行图案匹配。并且，判断对象物是否符合于其中一个立体物。由此，环境识别装置130还可以识别除了墙壁的、墙壁以外的立体物。

(环境识别方法)

以下，基于图11～图14的流程图来说明环境识别装置130的具体的处理。图11是示出当由图像处理装置120发送距离图像(视差信息)126时的中断处理相关的整体流程的图，图12～图14是示出其中个别子程序的图。

如图11所示，当以距离图像126的接收为契机，依据该环境识别方法发生中断时，基于由图像处理装置120导出的、在检测区域122内的每个区块的视差信息，导出表示每个对象部位在实际空间上的位置的位置信息(S300)。并且，针对对象部位进行群组化处理(S302)。

接着，对被群组化的对象物进行墙壁判断处理(S304)，进一步，对未被判断为墙壁的对象物进行群组分割处理(S306)。并且，由图案匹配单元174进行针对对象物的立体物图案匹配(S308)。以下，具体说明上述处理。

(群组化处理S302)

参照图12，群组化单元162选择亮度图像124的未被选择的一个对象部位(S350)。并且，群组化单元162判断所选择的对象部位中是否存在水平距离x的差值以及相对距离z的差值位于第一预定距离内的对象部位(S352)。当在第一预定距离内存在对象部位时(S352中的“是”)，群组化单元162将集合第一预定距离内的全部对象部位而群组化，作为对象物(S354)。

此时，当第一预定距离内的对象部位已经作为对象物而被群组化时，仍集合该对象物并群组化而作为一个对象物。由此，群组化单元162将接近且连续的多个对象部位群组化而作为对象物。

当第一预定距离内不存在对象部位时(S352中的“否”)、以及设置对象物S354之后，群组化单元162判断在亮度图像124中是否存在还未被选择的对象部位(S356)。当存在对象部位时(S356中的“是”)，返回到选择对象部位的步骤S350。当不存在还未被选择的对象部位时(S356中的“否”)，结束该群组化处理S302。

(墙壁判断处理S304)

参照图13，候补判断单元164选择还未被选择的一个对象物(S400)。并且，候补判断单元164判断该对象物的中心的高度y是否是0以上(位于道路表面之上)(S402)。当高度y不是0以上时(S402中的“否”)，处理转到未被选择对象物判断步骤S408。

当高度y为0以上时(S402中的“是”)，候补判断单元164判断作为对象物而被群组化的对象部位是否形成相对与本车辆1的行进方向垂直的平面倾斜预定角度以上的倾斜面(S404)。当未形成倾斜面时(S404中的“否”)，处理转到未被选择对象物判断步骤S408。

当对象部位形成倾斜面时(S404中的“是”)，候补判断单元164将该对象部位被群组化的对象物判断为墙壁的候补的墙壁候补(S406)。并且，处理转到未被选择对象物判断步骤S408。

接着，候补判断单元164判断是否存在还未被选择的对象物(S408)。若还存在未被选择的对象物时(S408中的“是”)，返回到对象物选择步骤S400。

当针对全部对象物进行墙壁候补判断处理时(S408中的“否”)，环境判断单元168判断是否是夜间或降雨等光被散射的环境(S410)。当不是光被散射的环境时(S410中的“否”)，墙壁判断单元166将全部墙壁候补判断为墙壁(S412)。当处于光被散射的环境时(S410中的“否”)，墙壁判断单元166判断是否存在还未被选择的墙壁候补(S414)。当存在墙壁候补时(S414中的“是”)，墙壁判断单元166选择还未被选择的一个墙壁候补(S416)。并且，墙壁判断单元166判断以选择的墙壁候补的中心位置为中心的X轴方向的第二预定距离范围内且Z轴方向的第二预定距离范围内是否存在其他墙壁候补(S418)。

此时，墙壁判断单元166针对所选择的成为墙壁候补的对象物，一并判断从连接作为该对象物而被群组化的对象部位的线的延长线到预定的距离内是否还存在其他墙壁候补。

当存在从连接对象部位的线的延长线到预定距离内的、其他墙壁候补时(S418中的“是”)，墙壁判断单元166将该全部墙壁候补判断为墙壁(S420)。并且，返回到未被选择墙壁候补判断步骤S414。由此，墙壁判断单元166将接近于第二预定距离内而连续的多个墙壁候补判断为墙壁。

当不存在其他墙壁候补时(S418中的“否”)，其他墙壁候补被判断为不是墙壁(S422)。并且，墙壁判断单元166判断从判断为不是墙壁的墙壁候补至X轴方向以及Z轴方向的第三预定距离的范围内，是否存在墙壁候补以外的对象物(S424)。当不存在墙壁候补以外的对象物时(S424中的“否”)，返回到未被选择墙壁候补判断步骤S414。

当存在墙壁候补以外的对象物时(S424中的“是”)，墙壁判断单元166集合被判断为不是墙壁的墙壁候补和墙壁候补以外的对象物而作为一个对象物(S426)。并且，返回到未被选择墙壁候补判断步骤S414。

在未被选择墙壁候补判断步骤S414，当不存在还未被选择的墙壁候补时(S414中的“否”)，结束该墙壁判断处理S304。

(群组分割处理S306)

参照图14，在该群组分割处理S306中，距离导出单元170选择还未被选择的一个对象物(S450)。然后，距离导出单元170导出被选择的对象物的、在亮度图像124的水平方向并排的每个对象部位群的相对距离z的平均值(S452)。而且，距离导出单元170生成将导出的相对距离z的平均值按照亮度图像124的垂直方向的位置的顺序排列的数据列(S454)。

接着，群组分割单元172导出构成所选择的对象物的全部对象部位的相对距离z的平均值，并基于导出的平均值来确定预定阈值(S456)。并且，群组分割单元172导出所生成的相对距离z的平均值的数据列的微分值(S458)，并判断导出的微分值是否超过预定阈值(S460)。当没有超过预定阈值时(S460中的“否”)，处理转到未被选择对象物判断步骤S466。

当微分值超过预定阈值时(S460中的“是”)，群组分割单元172确定超过预定阈值的微分值所对应的对象部位的垂直位置c(S462)。并且，群组分割单元172以该垂直位置c为分界来分割跨着垂直位置c而被群组化的对象物(S464)。而且，处理转到未被选择对象物判断步骤S466。

接着，距离导出单元170在该群组分割处理S306中判断是否存在还未被选择的对象物(S466)。当存在还未被选择的对象物时(S466中的“是”)，返回到对象物选择步骤S450。当不存在还未被选择的对象物时(S466中的“否”)，结束该群组分割处理S306。

如以上的说明，通过环境识别装置130，在夜间或下雨等光源容易被散射的环境中能够防止不是墙壁的对象物被误判断为墙壁的情况。

而且，还提供使计算机执行环境识别装置130的功能的程序或记录该程序的计算机可读软盘、光磁盘、ROM、CD、DVD、BD等记录介质。在此，程序是利用任意的语言或记述方法记述的数据处理方法。

以上的说明中，参照附图对本发明的优选实施方式进行了说明，但是本发明并不局限于已说明的实施方式。本发明所属领域的技术人员应知道在权利要求书所记载的范畴之内导出各种变更例或修改例是显而易见的，但显然这些都属于本发明的技术范围。

在上述的实施方式中，群组化单元162以及墙壁判断单元166使用实际空间上的水平距离x或相对距离z进行判断，但是也可以用亮度图像124上或者距离图像126上的检测距离来进行判断。此时，第一预定距离以及第二预定距离对应于对象部位的相对距离而进行变更。如图2等所示，亮度图像124和距离图像126中远近的物体表示在平面上，因此原本位于远方的物体的显小(短)，位于附近的物体显大(长)。由此，亮度图像124或距离图像126中的第一预定距离以及第二预定距离，例如针对位于远方的对象部位被设置为较小，针对位于附近的对象部位被设置为较大。据此，当在远方和附近的检测距离不同的情况下，也能谋求稳定的群组化处理以及墙壁判断处理。

并且，在所述水平距离x的差值和相对距离z的差值的基础上，群组化单元162还可以群组化高度y的差值在第一预定距离内的对象部位。此时，若水平距离x、高度y以及相对距离z的任意一个脱离第一预定距离范围，则该对象部位的群组被认为是独立的对象物。由此，可以实现高精度的群组化。

同样地，在水平距离x的差值以及相对距离z的差值的基础上，墙壁判断单元166还可以基于自道路表面的高度y的差值，进行墙壁的判断。由此，通过构成为进一步包括高度y的差值来进行墙壁的判断，墙壁判断单元166可以提高墙壁的检测精度。

并且，群组化部162分别独立地判断水平距离x的差值、高度y的差值以及相对距离z的差值，并且仅当所有差值被包括在第一预定距离的时，作为同一群组，但是也可以依据其他计算。例如，当水平距离x的差值、高度y的差值以及相对距离z的差值的欧氏距离被包含于第一预定距离时，也可以作为同一群组。通过所述计算，能够导出对象部位之间在实际空间上的准确的距离，因此能够提高群组化精度。

同样地，墙壁判断单元166分别独立地判断水平距离x的差值、高度y的差值以及相对距离z的差值，当所有差值被包含在第二预定距离时判断为墙壁，但是也可以依据其他计算。例如，当水平距离x的差值、高度y的差值以及相对距离z的差值的欧氏距离被包含于第二预定距离时，也可以判断为墙壁。通过所述计算，能够导出墙壁候补之间在实际空间上的准确的距离，因此能够提高墙壁的判断精度。

而且，在上述实施方式中，基于利用多个摄像装置110的图像数据之间的视差导出对象物的三维位置，但并不局限于所说明的情况，例如，可以利用激光雷达测距装置等已知的各种距离测量装置。在此，激光雷达测距装置通过向检测区域122发射激光光束，并接收该激光光束到达物体之后反射的光，从而根据所需时间测量至物体的距离。

并且，在上述的实施方式中，举出位置信息获取单元162从图像处理装置120接收距离图像(视差信息)126而生成三维位置信息的例子。但是，并不局限于所说明的情况，也可以由图像处理装置120预先生成三维的位置信息，再由位置信息获取单元162获取所生成的三维位置信息。据此，实现功能的分散，能够减轻环境识别装置130的处理负荷。

而且，在上述的实施方式中，位置信息获取单元160、群组化单元162、候补判断单元164、墙壁判断单元166、环境判断单元168、距离导出单元170、群组分割单元172、图案匹配单元174由中央控制单元156通过软件进行操纵。但是，上述的功能单元也可以由硬件构成。

在此，本说明书中的环境识别方法的各个步骤并不一定要按照流程图中记载的顺序中的时间顺序进行处理，也可以包含并行处理或通过子程序的处理。

产业上的可利用性

本发明可利用基于检测区域中的对象物的亮度来识别该对象物的环境识别装置以及环境识别方法。

Claims (4)

1.一种环境识别装置，其特征在于，包括：

位置信息获取单元，获取包含存在于检测区域内的对象部位相对本车辆的相对距离的位置信息；

群组化单元，将与所述本车辆的行进方向垂直的水平距离的差值、以及与所述本车辆的行进方向平行的相对距离的差值在第一预定距离内且连续的多个对象部位群组化而作为对象物；

候补判断单元，当构成所述对象物的多个对象部位形成相对于与所述本车辆的行进方向垂直的平面倾斜预定角度以上的倾斜面时，将所述对象物判断为作为墙壁的候补的墙壁候补；

墙壁判断单元，将与所述本车辆的行进方向垂直的水平距离的差值、以及与所述本车辆的行进方向平行的相对距离的差值在相比所述第一预定距离更长的第二预定距离内连续的多个所述墙壁候补判断为墙壁；

环境判断单元，用以判断在所述检测区域是否为光被散射的环境，

当所述环境判断单元判断为不是光被散射的环境时，所述墙壁判断单元将全部所述墙壁候补判断为墙壁。

2.根据权利要求1所述的环境识别装置，其特征在于，所述群组化单元基于与所述本车辆的行进方向垂直的水平距离的差值、以及与所述本车辆的行进方向平行的相对距离的差值，并进一步基于自道路表面的高度的差值，进行群组化的判断，

所述墙壁判断单元基于与所述本车辆的行进方向垂直的水平距离的差值、以及与所述本车辆的行进方向平行的相对距离的差值，并进一步基于自道路表面的高度的差值，进行墙壁的判断。

3.根据权利要求1或2所述的环境识别装置，其特征在于，还具备：

距离导出单元，导出沿着所述对象物的图像的水平方向并排的每个对象部位群的与相对于所述本车辆的行进方向平行的相对距离的平均值；

群组分割单元，当以所述图像的垂直方向的位置的顺序并排的、所述平均值的数据列的轨迹的微分值，超过预定阈值时，以所述对象部位群为分界来分割跨着已超出所述预定阈值的所述对象部位群而被群组化的所述对象物。

4.根据权利要求3所述的环境识别装置，其特征在于，所述群组分割单元基于构成所述对象物的所有所述对象部位的与相对于所述本车辆的行进方向平行的相对距离的平均值而确定所述预定阈值。