CN110832568B - 车辆用外界识别装置 - Google Patents

Abstract

本发明的车辆用外界识别装置(1000)从包含自身车辆周围的环境的图像中提取特征点，根据对特征点进行时间序列跟踪得到的图像上的运动来测量自身车辆到特征点的距离。继而，从图像上设定的多个局部区域中提取根据到特征点的距离信息和图像上的位置而判定为路面的局部区域作为第一路面区域。继而，针对图像上的多个局部区域中的每一个而算出包含颜色信息的多维图像特征量，对于图像上的多个局部区域当中未被提取为第一路面区域的路面未提取区域，使用图像特征量来算出与第一路面区域的类似度。继而，根据类似度从路面未提取区域中提取第二路面区域，使用第一路面区域及第二路面区域来识别可行驶区域。

Description

车辆用外界识别装置

技术领域

本发明涉及根据来自相机等图像传感器的信息来识别自身车辆周围的可行驶区域的车辆用外界识别装置。

背景技术

近年来，使用相机来识别自身车辆周围的外界而辅助驾驶员的驾驶操作的系统的开发在不断进步。例如，检测自身车辆周围的驻车空间而自动实施驾驶员的驻车操作的一部分或全部的自主驻车系统等已实用化。

使用相机检测到驻车空间后，只要能识别自身车辆周围的可行驶区域，便能根据可行驶区域来生成最佳驻车路径，能以最短时间进行驻车。作为可行驶区域的检测方法，例如专利文献1记载有如下方法：使用从图像中检测特征点、根据特征点的时间序列的运动来测量三维信息的单元和对图像区域进行分割的单元，使用根据分割后的区域内的特征点测量到的三维信息来推断路面区域。此外，专利文献2记载有如下方法：从图像中提取强边缘区域而使用边缘信息来推断是路面还是障碍物，进而，对于强边缘区域以外的区域，提取弱边缘或灰度而使用其时间变化来推断是路面还是障碍物。

现有技术文献

专利文献

专利文献1：日本专利特开2013-30183号公报

专利文献2：日本专利特开2008-262333号公报

发明内容

发明要解决的问题

然而，用于测量三维信息的特征点虽然容易出现在边缘较强的区域内，但在尤其像自身车辆远方的路面区域那样边缘较弱的区域内不容易出现，难以进行三维信息的测量。此外，即便在提取弱边缘或灰度来观测时间变化的情况下，在自身车辆远方的路面区域内也同样难以进行边缘的观测。

本发明是鉴于上述问题而成，其目的在于提供一种可以使用相机图像来提取难以进行边缘的观测的自身车辆远方的路面区域的车辆用外界识别装置。

解决问题的技术手段

解决上述问题的本发明的车载用外界识别装置识别自身车辆周围的可行驶区域，该车载用外界识别装置的特征在于，具有：图像获取部，其获取包含自身车辆周围的环境的图像；特征点距离测量部，其从所述图像中提取特征点，根据对所述特征点进行时间序列跟踪得到的所述图像上的运动来测量自身车辆到所述特征点的距离；第一路面区域提取部，其从所述图像上设定的多个局部区域中提取根据到所述特征点的距离信息和所述特征点在图像上的位置而判定为路面的局部区域作为第一路面区域；图像特征量算出部，其针对所述图像上的多个局部区域中的每一个而算出包含颜色信息的多维图像特征量；第二路面区域提取部，对于所述图像上的多个局部区域当中未被所述第一路面区域提取部提取为所述第一路面区域的至少1个以上的路面未提取区域，所述第二路面区域提取部使用所述图像特征量来算出与所述第一路面区域的类似度，根据该算出的类似度从所述至少1个以上的路面未提取区域中提取第二路面区域；以及可行驶区域识别部，其使用所述第一路面区域及所述第二路面区域来识别所述可行驶区域。

发明的效果

根据本发明，首先使用特征点的时间序列变化来测量自身车辆到特征点的距离，使用该测量到的到特征点的距离的信息、根据特征点的图像位置从图像上的局部区域中提取第一路面区域。此外，针对图像上的每一局部区域算出包含颜色信息的多维图像特征量，对于局部区域当中未被第一路面区域提取部提取为第一路面区域的路面未提取区域，使用图像特征量来算出与路面区域的类似度，若类似，则提取为路面区域。因此，只要在自身车辆附近能使用基于特征点的测量结果提取到路面区域，便能提取颜色特征与该区域类似的区域作为路面区域，从而能提取难以进行边缘的观测的自身车辆远方的路面区域作为路面区域。

根据本说明书的记述、附图，将明确本发明相关的更多特征。此外，上述以外的课题、构成及效果将通过以下实施方式的说明来加以明确。

附图说明

图1为本发明的第1实施方式中的车辆用外界识别装置的框图。

图2为本发明的第1实施方式中的图像获取部的说明图。

图3为表示本发明的第1实施方式中的特征点距离测量部的处理的流程图。

图4为本发明的第1实施方式中的特征点距离测量部的处理的说明图。

图5为表示本发明的第1实施方式中的区域分割部的处理的流程图。

图6为本发明的第1实施方式中的区域分割部的处理的说明图。

图7为表示本发明的第1实施方式中的第一路面区域提取部的处理的流程图。

图8为表示本发明的第1实施方式中的障碍物区域提取部的处理的流程图。

图9为表示本发明的第1实施方式中的图像特征量算出部的处理的流程图。

图10为表示本发明的第1实施方式中的第二路面区域提取部的处理的流程图。

图11为表示本发明的第1实施方式中的分离度诊断部的处理的流程图。

图12为表示本发明的第1实施方式中的可行驶区域识别部的处理的流程图。

图13为本发明的第1实施方式中的可行驶区域识别部的处理的说明图。

图14为表示本发明的第1实施方式中的可行驶区域识别部的时间序列处理的流程图。

图15为本发明的第1实施方式中的可行驶区域识别部的时间序列处理的说明图。

图16为本发明的第1实施方式的处理的说明图。

图17为本发明的第1实施方式的处理的说明图。

图18为本发明的第2实施方式中的车载用外界识别装置的框图。

图19为表示本发明的第2实施方式中的第三路面区域提取部的处理的流程图。

图20为本发明的第2实施方式中的第三路面区域提取部的处理的说明图。

具体实施方式

＜第一实施方式＞

下面，使用附图，对本发明的第一实施方式进行详细说明。图1为第一实施方式中的车载用外界识别装置1000的框图。

车载用外界识别装置1000内建于汽车中搭载的相机装置内或统合控制器内等，用于从相机装置的相机1001～1004拍摄到的图像内识别外界，本实施方式中构成为识别自身车辆周围的可行驶区域。

车载用外界识别装置1000由具有CPU、存储器、I/O等的电脑构成，对规定的处理进行了编程、以预先定下的周期T反复执行处理。

如图1所示，车载用外界识别装置1000具有图像获取部1011、特征点距离测量部1021、区域分割部1031、第一路面区域提取部1041、障碍物区域提取部1051、图像特征量算出部1061、第二路面区域提取部1071、分离度诊断部1081以及可行驶区域识别部1101。

图像获取部1011获取包含自身车辆周围的环境的图像。如图2所示，图像获取部1011从安装在能够拍摄自身车辆10周围的位置的相机1001～1004获取拍摄自身车辆周围得到的图像1005～1008中的任1个以上。在本实施例中，根据自身车辆10的行进方向的信息，前进时获取前方相机1001拍摄到的图像1005，后退时获取后方相机1004拍摄到的图像1008。获取到的图像以二维数组的形式记录在RAM上。以下，输入图像以IMGSRC[x][y]表示。x、y分别表示图像的坐标。图2所示的各图像1005～1008是自身车辆10在驻车框内前向驻车时的图像，拍摄到了驻车空间的划分线L。

特征点距离测量部1021从输入图像IMGSRC[x][y]中提取特征点FP[p]，根据对该特征点FP[p]进行时间序列跟踪得到的图像上的运动(特征点的时间序列变化)来测量自身车辆10到特征点FP[p]的距离。特征点距离测量部1021从输入图像IMGSRC[x][y]中检测特征点FP[p]并以时间序列方式进行跟踪，由此，利用各特征点的图像坐标表FPI[p]来测量三维距离表FPW[p]。此处，FPI[p]为图像坐标(x,y)，FPW[p]是具有以自身车辆后轮车轴为原点的世界坐标(x,y,z)的要素的表格的一维数组，p表示检测到多个特征点的情况下的ID。

区域分割部1031将输入图像IMGSRC[x][y]分割为多个局部区域R[r](参考图6)。此处，R[r]是具有表示输入图像IMGSRC[x][y]的哪一像素属于该局部区域的信息的表格的一维数组，r表示各区域的ID。

第一路面区域提取部1041提取根据特征点距离测量部1021测量到的到特征点FP[p]的距离信息和特征点FP[p]在图像上的位置而判定为路面的局部区域作为第一路面区域。第一路面区域提取部1041使用特征点距离测量部1021及区域分割部1031的结果，针对特征点的世界坐标FPW[p]当中满足判定为路面的规定条件的点而提取对应的图像坐标FPI[p]所属的局部区域R[r]，将其ID的组记录为第一路面区域ID群rd1[d1]。即，判定为路面区域的区域以R[rd1[d1]]表示，d1为表示区域的ID。

障碍物区域提取部1051使用特征点FP[p]的距离信息、根据特征点FP[p]的图像位置来提取图像上的障碍物区域。例如，在特征点FP[p]存在于距地面规定高度以上的位置的情况下判定为障碍物的特征点，从而提取该区域作为障碍物区域。障碍物区域提取部1051使用特征点距离测量部1021及区域分割部1031的结果，针对特征点的世界坐标FPW[p]当中满足判定为障碍物的规定条件的点而提取对应的图像坐标FPI[p]所属的局部区域R[r]，将其ID的组记录为障碍物区域ID群rb[b]。即，判定为障碍物区域的区域以R[rb[b]]表示，b为表示区域的ID。

图像特征量算出部1061针对图像上的每一局部区域算出包含颜色信息的多维图像特征量。图像特征量算出部1061使用输入图像IMGSRC[x][y]和区域分割部1031的结果、针对每一局部区域R[r]算出图像特征向量FV[r]。此处，特征向量FV[r]为具有N维向量的表格的一维数组。

对于图像上的多个局部区域当中未被第一路面区域提取部1041提取为第一路面区域的至少1个以上的路面未提取区域，第二路面区域提取部1071使用图像特征量算出部1061算出的图像特征量来算出与第一路面区域的类似度，根据类似度从至少一个以上的路面未提取区域中提取判定为路面的局部区域作为第二路面区域。

此外，在通过障碍物区域提取部1051提取到了障碍物区域的情况下，对于路面未提取区域及障碍物未提取区域，第二路面区域提取部1071使用图像特征量来算出与第一路面区域及障碍物区域的类似度，根据该算出的类似度从路面未提取区域及障碍物未提取区域中提取第二路面区域。

第二路面区域提取部1071使用从区域分割部1031获得的局部区域R[r]、从第一路面区域提取部1041获得的第一路面区域ID群rd1[d1]、从障碍物区域提取部1051获得的障碍物区域ID群rb[b]、以及从图像特征量算出部1061获得的图像特征向量FV[r]，从局部区域R[r]当中不包含在第一路面区域ID群rd1[d1]和障碍物区域ID群rb[b]中的区域中使用图像特征向量FV[r]来求第二路面区域ID群rd2[d2]。

分离度诊断部1081根据第一路面区域的图像特征量以及障碍物区域的图像特征量来算出第一路面区域与障碍物区域的分离度。在分离度低于规定值的情况下，第二路面区域提取部1071不将第二路面区域提取结果输出至可行驶区域识别部1101。分离度诊断部1081使用从第一路面区域提取部1041获得的第一路面区域ID群rd1[d1]、从障碍物区域提取部1051获得的障碍物区域ID群rb[b]、以及从图像特征量算出部1061获得的图像特征向量FV[r]的信息来算出图像特征向量FV[r]当中属于第一路面区域ID群rd1[d1]的特征向量FV[rd1[d1]]与属于障碍物区域ID群rb[b]的特征向量FV[rb[b]]的分离度。在算出的结果是分离度低于规定值也就是特征量彼此类似的情况下，向第二路面区域提取部1071传达难以进行路面区域的提取这样的分离困难标记SD，在第二路面区域提取部1071中停止其输出。

可行驶区域识别部1101使用第一路面区域及第二路面区域来识别可行驶区域。可行驶区域识别部1101使用第一路面区域和第二路面区域来确定最终路面区域，根据相机几何信息和使用过去的检测结果的时间序列处理中的至少一方从最终路面区域中识别可行驶区域。例如，可行驶区域识别部1101使用从区域分割部1031获得的局部区域R[r]、从第一路面区域提取部1041获得的第一路面区域ID群rd1[d1]、以及从第二路面区域提取部1071获得的第二路面区域ID群rd2[d2]来确定最终的图像内的路面区域，进而使用相机几何信息而以自身车辆后轮车轴为原点的世界坐标(x,y,z)中的可行驶区域RDR[t]的形式输出至后段。此处，t为表示处理的时刻的记号。

[特征点距离测量部]

接着，使用图3、4，对特征点距离测量部1021中的处理的内容进行说明。

图3为表示特征点距离测量部1021的处理的流程的流程图。此外，图4为特征点距离测量部1021的处理的说明图。

特征点距离测量部1021对输入图像IMGSRC[x][y]实施特征点距离测量。首先，在步骤S301中，从输入图像IMGSRC[x][y]中提取特征点FPI[p]。特征点FPI[p]的提取使用哈里斯角点检测等公知方法。结果，针对各特征点获得图像坐标。

接着，在步骤S302中，获取从同一相机获取到的、规定时刻前的过去图像IMGSRC_P。

接着，在步骤S303中，通过光流法算出当前图像IMGSRC上的各特征点FPI[p]在过去图像IMGSRC_P上的对应位置，获取各特征点的移动向量FP_VX[p]、FP_VY[p]。光流使用Lucas-Kanade法等公知方法。

继而，在步骤S304中，使用特征点FPI[p]及移动向量FP_VX[p]、FP_VY[p]来算出各特征点FPI[p]在自身车辆周围的三维位置FPW[p]。算出方法使用公知方法。在本实施例中，使用图像上的移动向量和利用通过CAN获取到的自身车辆位置DRC[t]及DRC[t－1]算出的自身车辆移动量。此处，t为表示处理的时刻的记号，自身车辆移动量DRC[t]是以自身车辆后轮车轴中心为原点的坐标系中的X、Y、横摆角。根据自身车辆位置DRC[t]及DRC[t－1]，获得X、Y、横摆角的移动量。

最后，在步骤S305中，将各特征点的三维位置FPW[p]转换为以车辆的后轮车轴中心为原点的坐标系，存放为距离表FPW[p]。

如图4所示，因过去的自身车辆位置DRC[t－1]与当前的自身车辆位置DRC[t]发生变化而产生视差，从而能测量距离。在图4所示的例子中，自身车辆10在t－1时间点到t时间点之间前进了距离d程度，根据由此产生的视差来测量到停驻车辆20的距离Y。由于测量图像的特征点各自的距离，因此，例如针对停驻车辆20进行测量得到的结果像图4的(b)所示那样测量到多个点21。

[区域分割部]

接着，使用图5、6，对区域分割部1031中的处理的内容进行说明。

图5为表示区域分割部1031的处理的流程的流程图。此外，图6为表示区域分割部1031的分割的例子的说明图。在本实施例中，区域分割部1031仅在初次启动时以及伴随自身车辆的行进方向的变化而来的使用相机的切换时实施，之后局部区域R[r]不会变化。

首先，在步骤S501中，设定处理区域161。将x方向的起点设为sx、终点设为ex，将y方向的起点设为sy、终点设为ey。处理区域161是避开映入相机的自身车辆区域来设定。

接着，在步骤S502中，在X方向上分割处理区域161。分割可像图6的(a)那样从起点sx起到终点ex为止均等地进行分割，也可像图6的(b)那样根据相机的透镜畸变而以越是透镜中心越大、越是周边部越小的方式进行分割。

接着，在步骤S503中，在Y方向上分割处理区域161。分割可像图6的(a)那样从起点sy起到终点ey为止均等地进行分割，也可像图6的(b)那样根据相机的透镜畸变而以越是透镜中心越大、越是周边部越小的方式进行分割。

最后，在步骤S504中，登记步骤S502、S503中分割出的各矩形的起点-终点信息作为局部区域R[r]。

再者，作为区域分割部1031的其他分割方法，有利用相机的几何信息来获取消失线、越靠近消失线便分割得越细的方法或者将图像IMGSRC输入至区域分割部1031、使用进行基于像素的亮度或颜色信息的分组处理得到的结果的方法，它们都可以通过公知技术实现，所以此处省略说明。

[第一路面区域提取部]

接着，使用图7，对第一路面区域提取部1041中的处理的内容进行说明。此处，将包含与特征点FPI[p]相对应的特征点世界坐标FPW[p]的例如高度为规定值以下的特征点的局部区域R[r]登记至第一路面区域ID群rd1[d1]。图7为表示第一路面区域提取部1041的处理的流程的流程图。

首先，在步骤S701中，将第一路面区域ID群rd1[d1]初始化。将登记值全部初始化，设定d1＝0。

接着，在步骤S702中，从特征点FPI[p]中的p＝0到P反复进行步骤S703到步骤S705的处理。

首先，在步骤S703中，判定特征点世界坐标FPW[p]是否满足路面的条件。判定的基准使用特征点世界坐标FPW[p]的高度是否在规定范围内也就是高度是否在以零为界的阈值TH_ROAD以内。或者，也可使用如下基准：预先在步骤S701中从特征点世界坐标FPW[p]中提取高度在以零为界的阈值TH_ROAD以内的所有点，使用最小二乘法算出平面RPL，该平面与特征点世界坐标FPW[p]的距离是否在阈值TH_HEIGHT2以内。

在步骤S703中满足条件的情况下，接着在步骤S704中从对应的特征点图像坐标FPI[p]获取图像坐标，使用转换表等求出该坐标所属的局部区域R[r]。将求出的特征点的ID设为rp。

接着，在步骤S705中，将求出的rp登记至rd1[d1]，并使d1递增。

再者，上文中是以参照源的形式求出为瞬间值的特征点图像坐标FPI[p]和世界坐标FPW[p]，但也可使用过去的值也包含在内而积蓄得到的图谱信息等来进行设定。

[障碍物区域提取部]

接着，使用图8，对障碍物区域提取部1051中的处理的内容进行说明。此处，将包含与特征点FPI[p]相对应的特征点世界坐标FPW[p]的例如高度高于规定值的特征点的局部区域R[r]登记至障碍物区域ID群rb[b]。

图8为表示障碍物区域提取部1051的处理的流程的流程图。

首先，在步骤S801中，将障碍物区域ID群rb[b]初始化。将登记值全部初始化，设定b＝0。

接着，在步骤S802中，从特征点FPI[p]中的p＝0到P反复进行步骤S803到步骤S805的处理。

首先，在步骤S803中，判定特征点世界坐标FPW[p]是否满足障碍物的条件。判定的基准使用特征点世界坐标FPW[p]的高度是否高于规定值也就是是否高于阈值TH_OBJ。此处，设定TH_OBJ＞TH_ROAD。或者，也可使用如下基准：使用第一路面区域提取部1041中算出的平面RPL，该平面与特征点世界坐标FPW[p]的距离是否高于阈值TH_OBJ2。

在步骤S803中满足条件的情况下，接着在步骤S804中从对应的特征点图像坐标FPI[p]获取图像坐标，使用转换表等求出该坐标所属的局部区域R[r]。将求出的特征点的ID设为rp。

接着，在步骤S805中，将求出的rp登记至rb[b]，并使b递增。

再者，与第一路面区域提取部1041一样，上文中是以参照源的形式求出为瞬间值的特征点图像坐标FPI[p]和世界坐标FPW[p]，但也可使用过去的值和其他传感器信息也包含在内而积蓄得到的图谱信息等来进行设定。

[图像特征量算出部]

接着，使用图9，对图像特征量算出部1061中的处理的内容进行说明。此处，根据属于局部区域R[r]的像素x,y的颜色和亮度信息、例如使用颜色和边缘的信息来生成特征向量FV[r]。

图9为表示图像特征量算出部1061的处理的流程的流程图。

在步骤S901中，从局部区域R[r]中的r＝0到R反复进行步骤S902到S906的处理。

首先，在步骤S902中，将特征向量FV[r]初始化。

接着，在步骤S902中，针对属于局部区域R[r]的像素x,y反复进行步骤S904、S905的处理。

在步骤S904中，获取像素x,y上的颜色信息并转换为HSV颜色表达，在转换为预先设定的分辨率之后向特征向量FV[r]投票。向HSV颜色表达的转换方法是公知的，所以此处从略。

在步骤S905中，使用像素x,y上的亮度梯度信息来算出HOG特征量，在转换为预先设定的分辨率之后向特征向量FV[r]投票。HOG特征量的算出方法是公知的，所以此处从略。

在针对属于局部区域R[r]的所有像素进行了步骤S904、S905的处理下的投票后，在步骤S906中进行特征向量FV[r]的范数归一化。范数是在H、S、V、HOG下分别进行归一化。

针对所有局部区域也就是针对局部区域R[r]的r＝0···R进行以上处理，算出特征向量FV[r]。

[第二路面区域提取部]

接着，使用图10，对第二路面区域提取部1071中的处理的内容进行说明。此处，针对局部区域R[r]当中不属于第一路面区域ID群rd1[d1]和障碍物区域ID群rb[b]中任一方的局部区域、使用特征向量FV[r]的类似度来进行路面区域的推断，提取推断出的路面区域作为第二路面区域。

在第一路面区域提取部1041提取出的第一路面区域与障碍物区域提取部1051提取出的障碍物区域重复的情况下，将该重复的区域从第一路面区域及障碍物区域中消去，作为路面未提取区域及障碍物未提取区域来进行第二路面区域提取部1071的判定。

此外，使用障碍物区域提取部1051中设定障碍物区域时用过的到特征点的距离信息和相机几何信息来求特征点在图像上的接地位置，在接地位置与第一路面区域提取部提取出的第一路面区域重复的情况下，将该区域从第一路面区域中消去，作为路面未提取区域来进行第二路面区域提取部1071的判定。

图10为表示第二路面区域提取部1071的处理的流程的流程图。

首先，在步骤S1000中，检查分离困难标记，若标记为ON，则不进行之后的处理。若标记为OFF，则进行之后的处理。

接着，在步骤S1001中，将第二路面区域ID群rd2[d2]初始化。将登记值全部初始化，设定d2＝0。

接着，在步骤S1002中，消去第一路面区域ID群rd1[d1]与障碍物区域ID群rb[b]的矛盾网格。对于第一路面区域ID群rd1[d1]的d1，探索障碍物区域ID群rb[b]中有无登记，在有登记的情况下，将该ID从第一路面区域ID群rd1[d1]及障碍物区域ID群rb[b]中消去。也就是说，在第一路面区域与障碍物区域重复的情况下，将该重复的区域从第一路面区域及障碍物区域中消去。通过该处理，可以消除登记在第一路面区域ID群rd1[d1]和障碍物区域ID群rb[b]两方中的网格在之后的类似度判定中产生的不良影响。

作为进一步的矛盾网格的消去处理，进行如下处理：使用障碍物区域提取部1051中设定障碍物区域时用过的到特征点的距离信息和相机几何信息来求特征点在图像上的接地位置，在接地位置与第一路面区域重复的情况下，将该重复的区域从第一路面区域中消去。

首先，参考障碍物区域ID群rb[b]的登记中用过的特征点的世界坐标FPW[p]，使用相机几何信息算出将高度设为零的情况下的图像上的位置。即，算出特征点的接地位置FPI0[p]。参考该特征点的接地位置FPI0[p]所属的局部区域R[r]，探索第一路面区域ID群rd1[d1]中有无登记。在有登记的情况下，将该ID从第一路面区域ID群rd1[d1]中消去。

在障碍物的特征点存在于路面附近的情况下，由于符合第一路面区域提取处理的条件，因此，障碍物的特征量被登记为路面区域，有时会产生以下不良影响：相较于实际的路面区域而言鼓起，或者在第二路面区域提取处理时将障碍物判定为路面区域，或者在分离度诊断部1081中判定为分离困难。通过该处理，能够避免这些不良情况。

接着，在步骤S1003中，对路面区域的特征向量FV[rd1[d1]]和障碍物区域的特征向量FV[rb[b]]进行加工，以便在之后的处理中易于通过类似度算出来加以使用。在数据的维数较少的情况下可直接使用，但在维数较高的情况下，也可使用主成分分析等维度压缩方法将数据量轻量化。本实施例中以不特别进行压缩的方式进行利用。

接着，在步骤S1004中，针对局部区域R[r]的r＝0···R反复进行以下步骤S1005到S1008的处理。

首先，在步骤S1005中，确认r未登记在第一路面区域ID群rd1[d1]和障碍物区域ID群rb[b]中的任一方。在未登记的情况下，转移至步骤S1006。在有登记的情况下，使r递增并再次进行步骤S1005。

接着，在步骤S1006中，进行针对特征向量FV[r]的、路面区域的特征向量FV[rd1[d1]]及障碍物区域的特征向量FV[rb[b]]的类似度算出。在本实施例中，使用k近邻法。k近邻法如下，即，将特征向量FV[r]与路面区域的特征向量FV[rd1[d1]]及障碍物区域的特征向量FV[rb[b]]的向量间的距离全部算出，根据路面区域的特征向量和障碍物区域的特征向量中的哪一方较多这一多数表决来算出最近的k个向量与哪一方类似，由于是公知技术，因此省略详情。

接着，在步骤S1007中，在判断特征向量FV[r]与路面区域的特征向量类似的情况下，转移至步骤S1008，将r登记至第二路面区域ID群rd2[d2]，并使d2递增。

循环进行以上处理。

[分离度诊断部]

接着，使用图11，对分离度诊断部1081中的处理的内容进行说明。此处，判断属于第一路面区域ID群rd1[d1]的特征向量FV[r]与属于障碍物区域ID群rb[b]的特征向量FV[r]在特征空间内是否呈能够分离的分布。

图11为表示分离度诊断部1081的处理的流程的流程图。

首先，在步骤S1101中，进行与第二路面区域提取部1071中的步骤S1002相同的处理，将矛盾的特征向量消去。

接着，在步骤S1102中，获取路面区域的特征向量FV[rd1[d1]]和障碍物区域的特征向量FV[rb[b]]。

接着，在步骤S1103中，算出路面区域的特征向量FV[rd1[d1]]与障碍物区域的特征向量FV[rb[b]]的分离度。在本实施例中，对两向量进行线性判别处理，算出与最大本征值相对应的本征向量，向该本征向量映射路面区域的特征向量FV[rd1[d1]]和障碍物区域的特征向量FV[rb[b]]，将得到的一维数据组的类间方差VB用作分离度SS。

接着，在步骤S1104中，对分离度SS与阈值TH_SS进行比较，在分离度SS高于阈值的情况下，在步骤S1105中将分离困难标记SD设为OFF，在低于阈值的情况下，在步骤S1106中将分离困难标记SD设为ON。再者，分离度诊断部1081在第二路面区域提取部1071之前进行处理，第二路面区域提取部1071根据分离困难标记SD的结果来切换处理。

[可行驶区域识别部]

接着，使用图12、13，对可行驶区域识别部1101中的处理的内容进行说明。此处，将第一路面区域与第二路面区域的结果统合，进而使用连续性、相机几何信息、时间序列信息等来决定最终的可行驶区域。

图12为表示可行驶区域识别部1101的处理的流程的流程图。此外，图13为可行驶区域识别部1101的处理的说明图。图13的(a)～(c)是拍摄自身车辆10前方得到的图像，映有划分驻车空间的白线L和其前方的墙壁等障碍物Ob。图13的(d)展示了自身车辆10及其前方的可行驶区域。

首先，在步骤S1201中，进行访问反映最终结果的结果图像IMGRES的像素的准备。以下，从步骤S1202到S1204反复进行处理。

首先，在步骤S1202中，判定正在访问的像素是否属于第一路面区域ID群rd1[d1]或第二路面区域ID群rd2[d2]。在属于的情况下，转移至步骤S1203，将像素设为P1。在不属于的情况下，转移至步骤S1204，将像素设为P2。重复以上步骤。

再者，若像上述那样进行像素访问，则大为耗费处理时间，因此，也可进行针对区域R[r]的反复处理、将其结果反映至反映最终结果的结果图像IMGRES。图13的(b)为其例子。

接着，在步骤S1205中，使用像素的连续性来进行去噪。从图像的下部区域朝图像上部探索结果图像IMGRES，在像素为P1也就是为路面区域的期间内推进探索，对像素变为P2的位置或者变成P2的次数进行计数，在该数量达到规定次数的位置或者相机几何上不再是路面区域的位置上停止探索。在图像的所有x坐标或者以规定间隔采样到的位置上进行该处理，结果，将图像的下部区域起到结束探索的位置为止设为路面区域。图13的(c)为其例子。在图13的(b)所示的例子中，通过到步骤S1204为止的处理，障碍物区域中的飞地131和天空区域132的像素被设为P1。但是，通过步骤S1205的连续性判定，如图13的(c)所示，这些部分的像素被设为P2，判定不是路面区域。

接着，在步骤S1206中，对步骤S1205得到的结果中的上端位置进行世界坐标转换，求连结得到的各点及相机设置位置的多角形区域，作为可行驶区域的瞬间值RDT[t]。此处，t为表示处理的时刻的记号。图13的(d)为其例子。

接着，在步骤S1207中，进行时间序列处理。关于本实施例中的时间序列处理，使用图14、图15来进行说明。

图14为表示步骤S1207的时间序列处理的流程的流程图。此外，图15为时间序列处理的说明图。

首先，在步骤S1401中，根据航位推算信息来获取本次的自身车辆位置DRC[t]和前一次的自身车辆位置DRC[t－1]，算出以本次的自身车辆位置DRC[t]为基准的前一次的自身车辆位置DRC_P[t]。图15的(a)为其例子。图15的(a)中，本次的自身车辆位置以实线表示，前一次的自身车辆位置以虚线表示。

接着，在步骤S1402中，以前一次的自身车辆位置DRC_P[t]为基准来获取前一次的可行驶区域瞬间值RDT[t－1]。图15的(b)为其例子。图15的(b)中，前一次的可行驶区域瞬间值151以虚线表示。

然后，在步骤S1403中，以本次的自身车辆位置DRC[t]为基准来展开本次的可行驶区域瞬间值RDT[t]。图15的(c)为其例子。图15的(c)中，本次的可行驶区域瞬间值152以实线表示。

继而，在步骤S1404中，算出前一次的可行驶区域瞬间值RDT[t－1]与本次的可行驶区域瞬间值RDT[t]的重复区域。图15的(d)为其例子。图15的(d)中，前一次与本次的可行驶区域瞬间值的重复区域以灰色区域153表示。

进而，在步骤S1405中，输出重复区域作为本次的可行驶区域RDR[t]。再者，在上述实施例中，说明了对可行驶区域识别部1101针对第一路面区域提取部1041提取出的路面区域和第二路面区域提取部1071提取出的路面区域、根据相机几何信息和使用过去的检测结果的时间序列处理这两方来识别可行驶区域的情况，但也可为至少一方。

如以上所说明，根据本实施方式的车载用外界识别装置1000，从图像中分割成多个的局部区域中使用基于特征点的距离测量结果来提取第一路面区域及障碍物区域，进而，对于不存在特征点而无法分类的局部区域，提取图像特征量，算出该图像特征量与第一路面区域及障碍物区域的类似度，根据类似度来提取第二路面区域。继而，将第一路面区域提取结果及第二路面区域提取结果加以统合而生成可行驶区域。

使用图16、图17，对上述的作用效果进行说明。图16、图17为说明上述一系列流程的说明图。

图16的(a)展示局部区域160的分割例，图16的(b)展示基于特征点的距离测量例。图16的(b)中，亮灰色的点161是符合第一路面区域提取处理的条件的特征点，暗灰色的点162是符合障碍物区域提取处理的条件的特征点。

图16的(c)为第一路面区域提取处理及障碍物区域提取处理的例子。第一路面区域提取处理中提取为路面区域的局部区域163以亮灰色表示，障碍物区域提取处理中提取为障碍物区域的局部区域164以暗灰色表示。图16的(c)中，将包含图16的(b)的特征点当中符合第一路面区域提取处理的条件的特征点161的图16的(a)的局部区域作为路面区域163。此外，将包含图16的(b)的特征点当中符合障碍物区域提取处理的条件的特征点162的局部区域作为障碍物区域164。

图16的(d)为统合了第二路面区域提取处理结果的例子。对于图16的(c)中不是灰色的局部区域165，根据图像特征向量的类似度来判定是否为路面区域。如图所示，对于在图16的(c)的时间点上无法判定的局部区域165，可以使用与通过第一路面区域提取设定为路面区域的区域的类似度来设定为路面区域163。另一方面，远方的障碍物区域的一部分166在此处也被判定为路面区域。该处在作为后段处理的可行驶区域识别部的步骤S1205中使用相机几何信息等而判定不是路面区域163。

此外，图17的(a)是在区域分割处理中使用输入图像来进行基于像素的亮度和颜色信息的分组处理而结果获得的局部区域的例子。

图17的(b)是使用图16的(b)的特征点信息对图17的(a)所示的区域分割结果进行第一路面区域提取处理、障碍物区域提取处理的例子。第一路面区域提取处理结果以亮灰色的区域171表示，障碍物区域提取结果以暗灰色的区域172表示。

图17的(c)是通过第二路面区域提取处理、使用与图17的(b)获得的路面区域及障碍物区域的类似度来提取未分类为任一区域的局部区域作为路面区域的例子。如图所示，使用与白线内侧的路面区域171的图像特征向量的类似度，可以将在图17的(b)的时间点上无法判定的白线L外侧的路面区域173和远方的路面区域174判定为路面区域。另一方面，远方的天空区域175等也因天气、环境而常常与路面区域类似，该例中便被判定为路面区域。该处在作为后段处理的可行驶区域识别部的步骤S1205中使用相机几何信息等而判定不是路面区域。

进而，在图16的(c)、图17的(b)的时间点，将通过第一路面区域提取处理、障碍物区域提取处理获得的区域内的图像特征量在分离度诊断部中加以诊断，在其分离度低于规定值也就是类间方差较低的情况下，不进行第二路面区域提取。在分离度低于规定值的情况下，第二路面区域提取部1071不将第二路面区域提取结果输出至可行驶区域识别部。通过本处理，不再进行基于含糊信息的路面区域提取，从而能抑制误识别。

根据上述车载用外界识别装置1000，可以将难以进行边缘的观测的自身车辆远方的路面区域提取为路面区域。因而，例如在用于实施辅助驾驶员的驾驶操作或将驾驶员的驾驶操作自动化的车辆控制的汽车的情况下，能够实施高精度的控制。

＜第二实施方式＞

接着，下面使用附图对本发明的车载用外界识别装置的第二实施方式进行说明。

图18为表示第二实施方式中的车载用外界识别装置2000的构成的框图。再者，在以下的说明中，仅对与上述第一实施方式中的车载用外界识别装置1000不同的部位进行详细叙述，对于相同部位则标注同一编号而省略其详细说明。

在本实施方式中，特征之处在于，具有通过不同于第一路面区域提取部1041的方法来提取路面区域的第三路面区域提取部2091，其提取结果的信息分别输入至第二路面区域提取部1071、分离度诊断部1081以及可行驶区域识别部1101。

车载用外界识别装置2000内建于汽车中搭载的相机装置内或者统合控制器内等，用于从相机1001～1004拍摄到的图像内识别外界，本实施方式中构成为检测自身车辆周围的路面区域。

车载用外界识别装置2000由具有CPU、存储器、I/O等的电脑构成，对规定的处理进行了编程、以预先定下的周期反复执行处理。

第三路面区域提取部2091提取区域分割部1031的局部区域R[r]当中满足规定条件的区域，将其ID的组作为第三路面区域ID群rd3[d3]加以记录。即，被判定为路面区域的区域以R[rd3[d3]]表示，d3为表示区域的ID。

第二路面区域提取部1071使用从区域分割部1031获得的局部区域R[r]、从第一路面区域提取部1041获得的第一路面区域ID群rd1[d1]、从障碍物区域提取部1051获得的障碍物区域ID群rb[b]、从图像特征量算出部1061获得的图像特征向量FV[r]、还有从第三路面区域提取部2091获得的第三路面区域ID群rd3[d3]，从局部区域R[r]当中不包含在第一路面区域ID群rd1[d1]、第三路面区域ID群rd3[d3]、障碍物区域ID群rb[b]中的区域中，使用图像特征向量FV[r]来求第二路面区域ID群rd2[d2]。在本实施例中，通过在第一路面区域ID群rd1[d1]之后追加利用处理的输入中追加的第三路面区域ID群rd3[d3]，之后的处理与第一实施方式的处理相同，因此省略处理的详细记述。

分离度诊断部1081使用从第一路面区域提取部1041获得的第一路面区域ID群rd1[d1]、从障碍物区域提取部1051获得的障碍物区域ID群rb[b]、从图像特征量算出部1061获得的图像特征向量FV[r]、还有从第三路面区域提取部2091获得的第三路面区域ID群rd3[d3]来算出图像特征向量FV[r]当中属于第一路面区域ID群rd1[d1]及第三路面区域ID群rd3[d3]的特征向量FV与属于障碍物区域ID群rb[b]的特征向量FV的分离度。

在算出的结果是特征量彼此类似的情况下，向第二路面区域提取部1071传达难以进行路面区域的提取这一分离困难标记SD，在第二路面区域提取部1071中停止其输出。在本实施例中，通过在第一路面区域ID群rd1[d1]之后追加利用处理的输入中追加的第三路面区域ID群rd3[d3]，之后的处理与第一实施方式的处理相同，因此省略处理的详细记述。

可行驶区域识别部1101使用从区域分割部1031获得的局部区域R[r]、从第一路面区域提取部1041获得的第一路面区域ID群rd1[d1]、从第二路面区域提取部1071获得的第二路面区域ID群rd2[d2]、还有从第三路面区域提取部2091获得的第三路面区域ID群rd3[d3]来确定最终的图像内的路面区域，进而使用相机几何信息而以自身车辆后轮车轴为原点的世界坐标(x,y,z)中的可行驶区域RDR[t]的形式输出至后段。在本实施例中，通过在第一路面区域ID群rd1[d1]之后追加利用处理的输入中追加的第三路面区域ID群rd3[d3]，之后的处理与第一实施例的处理相同，因此省略处理的详细记述。

[第三路面区域提取部]

使用图19、图20，对第三路面区域提取部2091中的处理的内容进行说明。

图19为表示第三路面区域提取部2091的处理的流程的流程图。此外，图20为第三路面区域提取部2091的处理的说明图。

首先，在步骤S1901中，将自身车辆附近的规定区域设定为自身车辆的近旁区域(第三路面区域)N。在使用相机几何信息来设定近旁区域N的本实施例中，近旁区域N设为自身车辆的行进方向的车体前端起1m、左右1m的区域。

接着，在步骤S1902中，获取自身车辆周围的障碍物的距离信息(障碍物信息)(障碍物信息获取部)。此处，可为过去检测到的、由特征点距离测量部1021检测到的距离信息，也可从自身车辆上安装的声呐获取。在本实施例中，是通过车内网络来获取声呐检测到的障碍物信息OBS。

接着，在步骤S1903中，判定在自身车辆的近旁区域N的内侧是否存在障碍物检测结果。在存在的情况下移动至步骤S1904，以自身车辆的近旁区域N不与障碍物信息重复的方式进行调整。此处，对于存在障碍物的区域附近不作处理。

接着，在步骤S1905中，使用相机几何信息将自身车辆的近旁区域N转换为相机图像IMGSRC的坐标系，将与局部区域R[r]重复的区域登记至第三路面区域ID群rd3[d3]。

接着，在步骤S1906中，获取是否存在前一次的可行驶区域RDR[t－1]。在存在的情况下进行步骤S1907之后的处理，在不存在的情况下结束处理。

在步骤S1907中，获取航位推算信息，算出以本次的自身车辆位置DRC[t]为基准的前一次的可行驶区域RDR[t－1]。接着，在步骤S1908中，根据相机几何信息、将与前一次的可行驶区域RDR[t－1]重复的局部区域R[r]登记至第三路面区域ID群rd3[d3]。

图20的(a)为步骤S1901中的自身车辆的近旁区域N的例子。图20的(b)为在步骤S1905中原样重叠有自身车辆的近旁区域N的例子。图20的(b)为拍摄到自身车辆10前方的图像，近旁区域N以灰色表示，前方映有障碍物Ob。

图20的(c)是在步骤S1904中调整近旁区域N的例子。在本实施例中，声呐安装在自身车辆前方4个位置，将从各声呐获取的障碍物信息OBS分别设为OBS1、OBS2、OBS3、OBS4。进而，将自身车辆的近旁区域N以声呐的安装位置为基准沿横向四分(N1、N2、N3、N4)。于是，获取障碍物信息OBS1、OBS2、OBS3、OBS4，在各物体信息与对应的自身车辆的近旁区域N1、N2、N3、N4重复的情况下，以自身车辆的近旁区域N1、N2、N3、N4不与障碍物信息重复的方式调整纵深方向。图20的(d)为步骤S1905的处理的例子，是使用相机几何信息重叠有与步骤S1904中调整后的近旁区域N重复的局部区域R[r]的例子。

图20的(e)为步骤S1907的处理的例子，图示有本次的自身车辆位置DRC[t]、前一次的自身车辆位置DRC[t－1]、前一次的可行驶区域RDR[t－1]。图20的(e)中，本次的自身车辆位置以实线201表示，前一次的自身车辆位置以虚线202表示，前一次的可行驶区域RDR[t－1]以区域203表示。图20的(f)为步骤S1908的处理的例子，是使用相机几何信息重叠有与步骤S1907中算出的前一次的可行驶区域RDR[t－1]重复的局部区域R[r]的例子。

再者，在本实施例中，如图19所示，作为第三路面区域提取方法，归纳说明了使用基于相机几何信息的规定区域的方法、基于障碍物信息的规定区域的调整方法、使用过去的路面区域识别结果的方法这3种，但也可不全部都使用。例如，若只是步骤S1901、S1905，则只有使用基于相机几何信息的规定区域的方法。此外，若只使用步骤S1901到S1905，则只有使用基于相机几何信息的规定区域的方法、基于障碍物信息的规定区域的调整方法。进而，若只使用步骤S1906到S1908，则只有使用过去的路面区域识别结果的方法。

如以上所说明，通过具有第三路面区域提取部2091，即便在第一路面区域提取部1041中未能从路面区域获取到特征点的情况下，也能提取第二路面区域提取部1071的处理所需的路面区域。

本发明不限定于上述各实施方式，可以在不脱离本发明的宗旨的范围内进行各种变更。

以上，对本发明的实施方式进行了详细叙述，但本发明并不限定于所述实施方式，可以在不脱离权利要求书记载的本发明的精神的范围进行各种设计变更。例如，所述实施方式是为了以易于理解的方式说明本发明所作的详细说明，并非一定限定于具备说明过的所有构成。此外，可以将某一实施方式的构成的一部分替换为其他实施方式的构成，此外，也可以对某一实施方式的构成加入其他实施方式的构成。进而，可以对各实施方式的构成的一部分进行其他构成的追加、删除、替换。

符号说明

1000 车载用外界识别装置

1001、1002、1003、1004 相机

1011 图像获取部

1021 特征点距离测量部

1031 区域分割部

1041 第一路面区域提取部

1051 障碍物区域提取部

1061 图像特征量算出部

1071 第二路面区域提取部

1081 分离度诊断部

1101 可行驶区域识别部

2000 车载用外界识别装置

2091 第三路面区域提取部。

Claims (9)

1.一种车载用外界识别装置，其识别自身车辆周围的可行驶区域，该车载用外界识别装置的特征在于，具有：

图像获取部，其获取包含自身车辆周围的环境的图像；

特征点距离测量部，其从所述图像中提取特征点，根据对所述特征点进行时间序列跟踪得到的所述图像上的运动来测量自身车辆到所述特征点的距离；

第一路面区域提取部，其从所述图像上设定的多个局部区域中提取根据到所述特征点的距离信息和所述特征点在图像上的位置而判定为路面的局部区域作为第一路面区域；

障碍物区域提取部，其从所述图像上设定的多个局部区域中提取根据到所述特征点的距离信息和所述特征点在图像上的位置而判定为障碍物的局部区域作为障碍物区域；

图像特征量算出部，其针对所述图像上的多个局部区域中的每一个而算出包含颜色信息的多维图像特征量；

第二路面区域提取部，对于所述图像上的多个局部区域当中未被所述第一路面区域提取部提取为第一路面区域的至少一个路面未提取区域以及未被所述障碍物区域提取部提取为障碍物区域的至少一个障碍物未提取区域，所述第二路面区域提取部使用所述图像特征量来算出与所述第一路面区域及所述障碍物区域的类似度，根据该算出的类似度从所述路面未提取区域及所述障碍物未提取区域中提取所述第二路面区域；以及

可行驶区域识别部，其使用所述第一路面区域及所述第二路面区域来识别所述可行驶区域。

2.根据权利要求1所述的车载用外界识别装置，其特征在于，

具有分离度诊断部，所述分离度诊断部根据所述第一路面区域的图像特征量以及所述障碍物区域的图像特征量来算出所述第一路面区域与所述障碍物区域的分离度，

在所述分离度低于规定值的情况下，所述第二路面区域提取部不将第二路面区域提取结果输出至所述可行驶区域识别部。

3.根据权利要求1所述的车载用外界识别装置，其特征在于，

所述可行驶区域识别部使用所述第一路面区域和所述第二路面区域来确定最终路面区域，根据相机几何信息和使用过去的检测结果的时间序列处理中的至少一方从所述最终路面区域中识别可行驶区域。

4.根据权利要求1所述的车载用外界识别装置，其特征在于，

在所述第一路面区域与所述障碍物区域重复的情况下，所述第二路面区域提取部将该重复的区域从所述第一路面区域及所述障碍物区域中消去而设为所述路面未提取区域及所述障碍物未提取区域。

5.根据权利要求4所述的车载用外界识别装置，其特征在于，

所述第二路面区域提取部使用所述障碍物区域提取部中设定所述障碍物区域时用过的到所述特征点的距离信息和相机几何信息来求所述特征点在图像上的接地位置，在所述接地位置与所述第一路面区域重复的情况下，将该重复的区域从所述第一路面区域中消去而设为所述路面未提取区域。

6.根据权利要求1所述的车载用外界识别装置，其特征在于，

具有第三路面区域提取部，所述第三路面区域提取部通过不同于所述第一路面区域提取部的方法来提取路面区域作为第三路面区域，

对于所述多个局部区域当中未被提取为所述第一路面区域或所述第三路面区域的区域，所述第二路面区域提取部根据所述第一路面区域及所述第三路面区域以及与所述第一路面区域和所述障碍物区域的类似度来提取所述第二路面区域。

7.根据权利要求6所述的车载用外界识别装置，其特征在于，

所述第三路面区域提取部使用相机几何信息将自身车辆附近的规定区域设定为第三路面区域。

8.根据权利要求7所述的车载用外界识别装置，其特征在于，

具有检测自身车辆周围的障碍物、获取该障碍物的距离信息的障碍物信息获取部，

所述第三路面区域提取部根据所述障碍物的距离信息来调整所述第三路面区域。

9.根据权利要求6所述的车载用外界识别装置，其特征在于，

所述第三路面区域提取部参考过去的路面区域检测结果来提取所述第三路面区域。

Images