CN105313774A - 车辆驾驶辅助装置及其运转方法 - Google Patents

Abstract

本发明涉及一种驾驶辅助装置，包括：立体摄像机模块，安装于车辆，通过第1摄像头获得第1影像，通过第2摄像头获得第2影像；及处理器，立体匹配(stereo？matching)所述第1影像及所述第2影像而获得稠密视差图(dense？disparity？map)，利用由粗到精(coarse-to-fine)技法而从所述稠密视差图估算三次b样条(cubic？B-spline)曲线，利用所述三次b样条曲线，执行道路纵断面(road？profile)，将所述车辆行驶的三维道路变换成二维。

Description

车辆驾驶辅助装置及其运转方法

技术领域

本发明涉及车辆驾驶辅助装置及其运转方法。

背景技术

一般，汽车是通过自己的引擎产生动力并传达到车轮而在道路上搬运乘客或货物的交通手段。汽车可分为形成外观的车体(body)及各种装置有机连接的底盘(chassis)两个大类。底盘包括作为行驶动力的汽车引擎、传动装置、转向装置、悬架装置、制动装置等主要装置。

另外，最近正在进行对最为汽车便利装置的立体摄像机的研究。立体摄像机因同时提供影像及距离信息，作为识别前方行驶环境的用途而得到广泛研究。

发明内容

(要解决的技术问题)

本发明的目的在于提供一种驾驶辅助装置及运转方法，基于使用由粗到精技法(Coarse-to-fine)的稠密立体视觉(DenseStereoVision)而估算路面。

本发明的技术问题并不限定于以上涉及的问题，未涉及的其他问题可通过以下记载，被本行业从业者所明确理解。

(解决问题的手段)

根据本发明的实施例的驾驶辅助装置，包括：立体摄像机模块，安装于车辆，通过第1摄像头获得第1影像，通过第2摄像头获得第2影像；及处理器，立体匹配(stereomatching)所述第1影像及所述第2影像而获得稠密视差图(densedisparitymap)，利用由粗到精(coarse-to-fine)技法而从所述稠密视差图估算三次b样条(cubicB-spline)曲线，利用所述三次b样条曲线，执行道路纵断面(roadprofile)，将所述车辆行驶的三维道路变换成二维。

另外，根据本发明的实施例的驾驶辅助装置的运转方法，即包括通过第1摄像头获得第1影像、通过第2摄像头获得第2影像的立体摄像机模块的车辆的驾驶辅助装置的运转方法，

包括：立体匹配(stereomatching)所述第1影像及所述第2影像而获得稠密视差图(densedisparitymap)的步骤；利用由粗到精(coarse-to-fine)技法而从所述稠密视差图估算三次b样条(cubicB-spline)曲线的步骤；及利用所述三次b样条曲线，执行道路纵断面(roadprofile)，将所述车辆行驶的三维道路变换成二维的步骤。

其他实施例的具体事项已包含在详细的说明及附图。

(发明的效果)

根据本发明的实施例，具有一个或一个以上的如下效果。

一、与路面的形态或交通状况条件无关，能够正确执行路面估算而提高了性能。

二、有助于驾驶员的安全驾驶及提高便利性。

三、无需增加另外的工艺或部件就能适用于车辆，具有轻量化等效果。

本发明的效果并不局限于以上涉及的效果，未涉及的其他效果可通过权利要求范围的记载而被本行业技术人员所明确理解。

附图说明

图1概略性地图示根据本发明的实施例的包括驾驶辅助装置的汽车。

图2是根据本发明的实施例的驾驶辅助装置的框图。

图3是用于说明根据本发明的实施例的驾驶辅助装置的运转方法的参照图。

图4是用于说明根据本发明的实施例的利用由粗到精技法的路面建模的近似化结果的参照图。

图5是用于说明根据本发明的实施例的稠密像素处理部的运转的参照图。

图6是用于说明根据本发明的实施例的分段线性函数估算部及三次b样条曲线估算部的运转的参照图。

图7至图12是用于说明根据本发明的获得道路纵断面的比较实验结果的参照图。

符号说明

100：驾驶辅助装置

110：立体摄像机模块

120：输入部

130：存储器

140：显示部

150：处理器

具体实施方式

本发明的优点及特征，以及达成这些的方法，可通过参照附图和详细说明的实施例而明确理解。但本发明并不限定于以下公开的实施例，而是以多种形态体现，提出这些实施例的目的在于，使本发明公开完整，并向本发明所述技术领域具有一般知识的人完整地告知本发明的范畴，本发明根据权利要求的范围而定义。整个说明书中相同的参照符号表示相同的构成要素。

本说明书中把构件的名称区分为第1、第2是用于区分两个名称相同的构件，以下说明并不限定于其顺序。

图1概略性地图示根据本发明的实施例的包括驾驶辅助装置的汽车。

参照图1，根据本发明的实施例的车辆辅助装置100包括立体摄像机模块110。

立体摄像机模块110安装于车辆。立体摄像机模块110可以是能够可拆卸地结合到车辆的车顶或前面玻璃的结构。

立体摄像机模块110包括第1摄像头及第2摄像头。立体摄像机模块110通过第1摄像头获得第1影像，通过第2摄像头获得第2影像。

图2是根据本发明的实施例的驾驶辅助装置的框图。

参照图2，根据本发明的实施例的驾驶辅助装置100包括：立体摄像机模块110、输入部120、存储器130、显示部140及处理器150。

立体摄像机模块110如所述参照图1的说明。

输入部120可具备车辆驾驶辅助装置100，尤其，粘贴到立体摄像机模块110的多个按钮或触摸屏。可通过多个按钮或触摸屏而打开车辆驾驶辅助装置100的电源而使其运转。除此之外，也可执行多种输入运转。

存储器130能够保存驾驶辅助装置100整体运转所需的多种数据，如用于处理或控制处理器150的程序等。

显示部140能够显示驾驶辅助装置100的运转相关的图像。为显示这种图像，显示部100可包括车辆内部前面的群集(cluster)或HUD(HeadUpDisplay-抬头显示器)。另外，显示部140为HUD时，车辆的前面玻璃可包括投射图像的投射模块。另外，显示部140可以是AVN(AudioVideoNavigation-音频视频导航)模块。

处理器150立体匹配(stereomatching)从立体摄像机模块110接收的第1影像及第2影像并获得稠密视差图(densedisparitymat)。处理器150利用由粗到精(coarse-to-fine)技法，从稠密视差图估算三次b样条(cubicB-spline)曲线。处理器150利用三次b样条曲线，执行道路纵断面(roadprofile)，使车辆行驶的三维道路变换成二维。

处理器150估算路面的形态。一般，障碍物被定义为存在于路面上的物体，路面估算结果对障碍物检测性能造成直接的影响。因此，正确估算路面是非常重要的。路面实际上是三维曲面，但考虑到精密度、稳健性、演算量，一般近似化为2D切片(slice)而估算。这样以2D切片(slice)表现的路面可称为道路纵断面(roadprofile)。

处理器150把道路纵断面建模为分段线性(piecewiselinear)函数而进行估算，或建模为B-spline(样条)曲线而进行估算。驾驶辅助装置100优选建模为三次b样条(cubicB-spline)曲线而估算道路纵断面。因三次b样条曲线的自由度较高，在精密度及柔韧性方面具有优势。

根据实施例，处理器150使用卡尔曼滤波器(Kalmanfilter)而估算已建模为cubicB-spline(三次b样条)曲线的道路纵断面。这时，若输入到卡尔曼滤波器(Kalmanfilter)的三维点为包括路面上提取的高斯噪声(Gaussiannoise)的点，会正确地运转，但若三维点中包括从障碍物或立体匹配错误提取的点，就无法正确地运转。

为了克服这种局限性，处理器150利用基于关心领域的outlier(异常值)消除方法而估算道路纵断面。例如，可利用1)基于行迹传感器信息而设定predicteddrivingcorridor(预测驾驶走廊)的方法，2)使用实验性地选择的2次多项式形态关心领域的方法，3)使用基于Triangulationerror(三角测量误差)计算的expectedvariance(期望方差)的方法，4)基于道路纵断面(roadprofile)的predictedheight(预测高度)和cumulativevariance(累积方差)而设定关心领域的方法。所述方法具有消除三维点所包括的outlier(异常值)而减少B-spline曲线估算误差的效果，但通过实验性设定的关心领域而在多种路面状况下消除大部分的outlier(异常值)并维持大部分的inlier(内围层)是非常不易的。并且，若是远距离路面，predicteddrivingcorridor(预测驾驶走廊)的误差与Triangulationerror(三角测量误差)的误差会变得特别大，因此难以使用该方法。

为了克服outlier(异常值)消除方法的局限性，处理器150利用基于robustestimator(稳健估计)的方法而估算道路纵断面。该方法逐渐增加参与路面估算的路面领域而连续执行least-squaresestimation(最小二乘估计)，对outlier(异常值)稳健地估算路面。该方法可命名为使用实验性地设定的二进加权值函数的M-estimator(M估计量)基础方式。M-estimator(M估计量)基础方法能够确保对少数outlier(异常值)的稳健性，因存在邻近的障碍物而产生多数outlier(异常值)的状况下，其具有容易包括到localoptimum(局部最优)的局限性。[10].并且，包括多数outlier(异常值)的状况下，还会增加实验性地设定的二进加权值函数选择错误三维点的可能性。

根据本发明的实施例是为了克服现有方法的局限性，基于以下的三次b样条曲线而估算道路纵断面。这时，存在多个outlier(异常值)的状况下，很难直接估算自由度较高的函数，因此驾驶辅助装置100可使用由粗到精(coarse-to-fine)技法。

由粗到精技法分为三个步骤。第一个步骤中，将路面分为多个区间后，向存在于各区间的三维点适用霍夫变换(Houghtransform)而获得评选(voting)结果。第二个步骤中，以数据项(dataterm)设定评选结果，并将各区间直线的连接关系及倾斜度变化设定为平滑项(smoothnessterm)而执行动态规划(dynamicprogramming)，从而估算分段线性(piecewiselinear)函数。最后步骤中，在估算出的分段线性函数上，统一(uniform)地采取(sampling)样点，从而基于这些采样点而估算三次b样条曲线，获得最终道路纵断面。

根据本发明的实施例具有如下效果。

1)存在多种噪声的状况下，仅使用适当的演算量并使用由粗到精技法而稳定地估算三次b样条曲线。

2)存在多个outlier(异常值)的情况下，同时使用霍夫变换和动态规划而稳健地估算分段线性函数的最佳参数。

处理器150可包括立体匹配部151及路面估算部152。

立体匹配部151立体匹配(stereomatching)从立体摄像机模块接收的第1影像及第2影像，从而获得稠密视差图(densedisparitymap)。

路面估算部152利用由粗到精(coarse-to-fine)技法，从立体匹配部151获得的稠密视差图估算三次b样条(cubicB-spline)曲线。

路面估算部152包括像素处理部153、分段线性函数估算部154及三次b样条曲线估算部157。

像素处理部153将稠密视差图的所有像素复原成三维，将复原成所述三维的像素累积到YZ平面。像素处理部153按照距离进行分割。例如，像素处理部153将已累积到YZ平面的像素按照包括在稠密视差图的道路距离的规定区间进行分割并处理。

分段线性函数估算部154接收由像素处理部153传达的累积结果，通过累积结果估算分段线性(piece-wiselinear)。

另外，分段线性函数估算部154包括霍夫变换(Houghtransform)适用部及动态规划(dynamicprogramming)执行部。

霍夫变换适用部向存在于所述累积结果的三维点适用霍夫变换而获得评选(voting)结果。

动态规划执行部，接收霍夫变换适用部传达的评选结果，将所述评选结果设定为数据项(dataterm)，将各区间直线的连接关系及倾斜度变化设定为平滑项(smoothnessterm)，执行动态规划(dynamicprogramming)而估算分段线性函数。

三次b样条曲线估算部157接收由线性函数估算部154估算的分段线性函数，基于该估算的分段线性函数而估算三次b样条曲线。

图3是用于说明根据本发明的实施例的驾驶辅助装置的运转方法的参照图。

参照图3，立体匹配部151立体匹配(stereomatching)第1影像及第2影像而获得稠密视差图(densedisparitymap)(S305)。

之后，像素处理部153将稠密视差图的所有像素复原成三维(S310)，将所述复原成三维的像素累积到YZ平面(S320)。

然后，像素处理部153在稠密视差图上，按照距离区分道路(S330)。

之后，霍夫变换适用部(155)对存在于累积结果的三维点适用霍夫变换(Houghtransform)而获得评选(voting)结果(S340)。

之后，动态规划执行部156将所述评选结果设定为数据项(dataterm)，将各区间直线的连接关系及倾斜度变化设定为平滑项(smoothnessterm)，从而执行动态规划(dynamicprogramming)而(S350)估算分段线性函数(S355)。

然后，三次b样条曲线估算部157基于估算的分段线性函数而估算三次b样条曲线(S360)，从而获得道路纵断面(S370)。

图4是用于说明根据本发明的实施例的利用由粗到精技法的路面建模的近似化结果的参照图。

参照图4，同时存在随机误差(randomerror)及严重错误(grosserror)的实际数据(data)中很难直接估算自由度高且具有非线性(nonlinear)特性的三次b样条曲线。

处理器150估算分段线性函数之后，基于该结果并利用估算三次b样条曲线的由粗到精技法而估算路面。例如，像素处理部153利用每20m区间具有controlpoint(控制点)的三次b样条曲线而对100m区间的路面进行建模，将此近似化为以5米间隔设定的20个linear(线性)函数。图4呈现这种近似化结果。图4中的A曲线表示三次b样条曲线，B曲线表示近似化为分段线性函数的结果。通过该图，可确认三次b样条曲线能够较准确地近似化为分段线性函数。

这种近似化具有如下优点。第一，能够确保对随机误差(randomerror)(例如，zero-meanGaussiannoise-零均值高斯噪声)的稳健性。作为RANSAC(随机抽样一致)及M-estimator(M估计量)等robustestimator(稳健估计)的基础的least-squaresestimator(最小二乘估计)一般为了演算的效率性而寻求能够最小化algebraicerror(代数误差)的squaredsum(平方和)的solution(方案)。用1次多项式表示的线性模型因algebraicerror(代数误差)和geometricerror(几何误差)之间成立比例关系而能够消除randomerror(随机误差)的影响，但像高次多项式等模型的nonlinearity(非线性)增加的状况下，fittingerror(拟合误差)会出乎意料地weighting(加权)，导致估算的parameter(参数)biased(结果偏倚的)的错误结果。并且，适用霍夫变换等评选(voting)基础方法时，模型的自由度越高，会导致评选二进制文件(votingbin)的个数相比数据数量急剧地增加，具有随机误差的数据无法充分地累积到正确的二进制文件(bin)，引起根据峰值检测(peakdetection)的参数估算错误。因此，相比nonlinearity(非线性)高的三次b样条曲线，具有linear(线性)特性的分段线性函数的估算对随机误差更加稳健。

第二，能够确保对严重错误(outlier(异常值))的稳健性。存在多个outlier(异常值)的状况下直接估算自由度高的函数需要很多演算量。图4的状况下，为了使用Houghtransform(霍夫变换)而估算三次b样条曲线，需要操作N⁸个评选二进制文件，若假设构成分段线性函数的个别linear(线性)函数为独立的(independent)，只需操作20·N²个的评选二进制文件。N表示各参数空间(parameterspace)的评选二进制文件个数。并且，使用RANSAC(随机抽样一致)执行估算时，前者需要反复执行log(1-p)/log(1-w⁸)，但后者只需反复执行20·log(1-p)/log(1-w²)。P和w表示至少一个随机样本(randomsample)只由inlier(内围层)构成的概率及inlier(内围层)的proportion(比例)。这种复杂度的减少不仅会减少演算量，还能提高正确估算的可能性。

表现实际路面的分段线性函数是continuous(连续的)，因此linear(线性)函数之间存在dependency(依存关系)，但为了确保对outlier(异常值)的稳健性，该步骤中假设了构成分段线性函数的linear(线性)函数为independent(独立的)。而这种dependency(依存关系)在parameter(参数)估算步骤中被设定为动态规划(dynamicprogramming)的平滑项(smoothnessterm)而复原。与此相关的内容将在后面详细说明。

图5是用于说明根据本发明的实施例的稠密像素处理部的运转的参照图。

参照图5，处理器150使用densedisparitymap(稠密视差图)而估算路面。图5的(a)图示第1摄像头所获得的影像，图5的(b)图示稠密视差图，图5的(c)图示三维点累积结果。

稠密视差图是通过OpenCV(开放源代码计算机视觉类库)所具有的Semi-GlobalMatching(半全域匹配-SGM)方法计算的结果。像素处理部153将稠密视差图的所有像素复原为三维后累积到YZ平面。这时，可用少数的bin表示大多数三维点，因此能够提高路面估算的效率。图5的(c)的累积结果亮度为了便利而用logarithmicscale(对数刻度)画出。该图的横轴表示0m～100m的Z轴，纵轴表示-10m～+10m的Y轴。摄像头存在于(0m，0m)，bin的大小设定为0.1m×0.1m。像素处理部153对三维点执行tilt(倾斜)补偿后进行累积。

因Perspectiveprojection(透视投影)，影像中近距离物体显得比实际大，远距离物体显得比实际小，这导致远距离与近距离累积结果的不均衡。为了防止这种现象，像素处理部153按照距离而使累积值正规化，如数学式1。

$\stackrel{\‾}{A}(j,i)=\frac{A(j,i)Z\left(i\right)}{f}$ 【数学式1】

A(j，i)和分别表示原来的累积结果和被正规化的累积结果，Z(i)和f分别表示对应A(j，i)的距离和像素单位焦点距离，i和j表示累积结果的横轴和纵轴的index(索引)。i和j的原点是图5的(c)的左侧上端。

图6是用于说明根据本发明的实施例的分段线性函数估算部及三次b样条曲线估算部的运转的参照图。

利用分段线性函数估算路面的最具代表性的方法是v-disparity(v-差距)的霍夫变换结果中选择累积值大且呈现envelope(包络)形态的直线组合的方法。但是，该方法无法表现发生2次以上变动的路面，缺点是因使用v-disparity(v-差距)，根据距离而resolution(方案)急剧减少。使用RANSAC(随机抽样一致)估算区分的小的区间的piece-wiselinear(分段线性)函数的方法的局限性在于，特定区间的linear(线性)函数只受到其区间前方的影响，因此会导致前方linear(线性)函数中发生的错误传播到后方。

分段线性函数估算部154为了正确并稳健地估算piece-wiselinear(分段线性)函数而使用霍夫变换和动态规划。分段线性函数估算部154包括霍夫变换适用部155及动态规划执行部156。

这时，霍夫变换(Houghtransform)通过累积值提供对各区间的路面中探索范围内所有参数组合的适合度，因此能够有效地使用为需要对所有参数组合进行评价的动态规划(dynamicprogramming)的数据项(dataterm)。并且，动态规划将霍夫变换单独适用于各路面区间，利用平滑项(smoothnessterm)获得未获取的临近区间linear(线性)函数之间的continuity(连续性)特性。最后，动态规划能够找出存在于所有区间的直线组合中适合度最高的组合，相比从近距离到远距离执行顺次估算的现有方法，能够进行更稳定的分段线性函数的估算。

分段线性函数表现为数学式2。

Y＝tan(θ_n)·Z+ρ_n，Z_n-1≤Z＜Z_n【数学式2】

该数学式中Z_n-1到Z_n表示n次区间，θ_n和ρ_n表示存在于n次区间的

C(θ_n，ρ_n，θ_n+1，ρ_n+1)＝D(θ_n，ρ_n)+S(θ_n，ρ_n，θ_n+1，ρ_n+1)直线的角度和Y轴切片。这时，ρ_n以各直线开始的位置为基准而计算。用于估算这种分段线性函数的动态规划的costfunction(成本函数)如数学式3。

【数学式3】

数学式3中D(θ_n，ρ_n)和S(θ_n，ρ_n，θ_n+1，ρ_n+1)分别表示数据项(dataterm)和平滑项(smoothnessterm)。

$\underset{\‾}{A}(j,i)=\stackrel{\‾}{A}(j,i)-\max \{\stackrel{\‾}{A}(j+1,i),\stackrel{\‾}{A}(j+2,i),...,\stackrel{\‾}{A}(j_{\max },i)\}$

数据项通过各区间的累积结果中适用霍夫变换而获得。这时，为了防止根据障碍物累积的点妨碍路面估算，执行霍夫变换之前执行如数学式4的作业。

【数学式4】

该数学式中j_max表示indexj的最大值。这是特定位置的累积结果中减掉存在于比相应位置低的位置的累积结果最大值的演算，具有弱化由路面上存在的障碍物生成的累积值的效果。实施这种演算后，路面分成20个区间，各区间的A(j，i)上适用霍夫变换。霍夫变换时使用的θ_n和ρ_n的范围及间隔设定如下。θ_n设定为将-4.0度到+4.0度之间区分成1.0度。ρ_n设定为将-5.0m到+5.0m之间区分为0.1m间隔。图6的(a)及(b)分别呈现分割的路面区间及各区间生成的霍夫变换结果。霍夫变换结果的水平及垂直轴分别表示θ_n和ρ_n。摄像头中到5.0m为止的区间因脱离立体摄像机的画角，从路面估算除外，因此该图中只显示19个霍夫变换结果。霍夫变换结果如数学式5，使用为动态规划的数据项。

【数学式5】

D(θ_n，ρ_n)＝-H(θ_n，ρ_n)

数学式5中H(θ_n，ρ_n)表示对n次区间的A(j，i)值适用霍夫变换而获得的评选(voting)结果的(θ_n，ρ_n)位置所相应的值。减号因动态规划解最小化问题而加上的。平滑项(smoothnessterm)如数学式6，由反映分段线性函数的两种特性的两个term(项)。

【数学式6】

S(θ_n，ρ_n，θ_n+1，ρ_n+1)＝S₁(θ_n，ρ_n，θ_n+1，ρ_n+1)+S₂(θ_n，θ_n+1)

数学式6的第一个term(项)反映存在于临近区间的linear(线性)函数需在区间的界线相交的特征，设定如数学式7。

【数学式7】

$S_1({\mathrm{\θ}}_n,{\mathrm{\ρ}}_n,{\mathrm{\θ}}_{n+1},{\mathrm{\ρ}}_{n+1})=\left\{\begin{array}{cc}0,& \mathrm{ifR}({\mathrm{\θ}}_n,{\mathrm{\ρ}}_n,{\mathrm{\θ}}_{n+1},{\mathrm{\ρ}}_{n+1})\≤T\\ \∞,& \mathrm{otherwise}\end{array}\right.$

数学式7中R(θ_n，ρ_n，θ_n+1，ρ_n+1)表示路面区间的界线位置中两个linear(线性)函数之间的Y轴方向距离，表现为数学式8。

【数学式8】

R(θ_n，ρ_n，θ_n+1，ρ_n+1)＝|{tan(θ_n)·Z_n+ρ_n}-{tan(θ_n+1)·Z_n+ρ_n+1}|

若该距离小于等于事先设定的临界值(T)，第一个term(项)为0，若不是，会无限大。因此，该term(项)以存在于临近区间的linear(线性)函数必须在两个区间的界线相交为前提。为了应对三维点累积时发生的quantizationerror(量化误差)，T值设定为等于该过程中使用的bin的大小(0.1m)。式(6)的第二个term(项)反映临近区间的linear(线性)函数的倾斜度应缓慢变化的特征。设定如数学式9。

【数学式9】

S₂(θ_n，θ_n+1)＝|{(Z_n+1-Z_n)·tan(θ_n)}-{(Z_n+1-Z_n)·tan(θ_n+1)}|

数学式9将存在于临近区间的linear(线性)函数的倾斜度变化变更为Y轴方向的变化量而呈现。动态规划执行部156为了使动态规划的cost达到均衡，设定数学式5的dataterm(数据项)和数学式6的smoothnessterm(平滑项)都具有相同metric单位的值而进行演算。图6(b)和(c)呈现根据本发明的实施例而估算分段线性函数的结果。图6(b)的霍夫变换结果上用红色十字显示的位置表示相应区间中估算的linear(线性)函数的参数，图6(c)的绿色线表示用分段线性函数表现的道路纵断面估算结果。

估算的分段线性函数的缺点在于区间界线中存在急剧的倾斜度变化。因此，根据本发明的三次b样条曲线估算部157基于初期估算结果而估算三次b样条曲线，从而补正路面估算结果。为此，uniform(统一)地sampling(抽样)估算的分段线性函数上的点，对此适用least-squaresestimation(最小二乘估计)方法而估算三次b样条曲线。图6的(d)的红色线呈现最终估算的三次b样条曲线。

图7至图12是用于说明根据本发明的获得道路纵断面的比较实验结果的参照图。

A.对实验中利用的DB的说明

根据本发明的实施例的方法使用三种公用DB进行了定量评价。使用的公用DB为6D-VisionSceneLabelingDatabase(6D-VISIONDB，6D视觉场景标签数据库)[19]、KITTIVisionBenchmarkSuit-RoadDatabase(KITTIDB，KITTI视觉基准适应路数据库)、DaimlerStereoPedestrianDetectionBenchmarkDataSet(DAIMLERDB，戴姆勒立体行人检测基准数据集)。使用6D-VisionDB和KITTIDB是因其提供了显示道路领域的信息，使用DAIMLERDB是因其包括多种市内情况。6D-VISIONDB和KITTIDB分别由500张、287张影像构成。DAIMLERDB因不另外提供对路面领域的信息，对uniform(统一)地选择的306张影像，直接输入路面信息而使用。6D-VISIONDB是使用了提供的densedisparitymap(稠密视差图)，KITTIDB和DAIMLERDB因不提供该densedisparitymap(稠密视差图)，通过OpenCV(开放源代码计算机视觉类库)所具有的SGM方法获得了densedisparitymap(稠密视差图)而使用。表1呈现使用的DB相关的详细说明。

【表1】

B.性能评价及比较

本实验中比较基于手动获得的三次b样条曲线的道路纵断面(roadprofile)的groundtruth(地面实况)和路面估算方法的道路纵断面(roadprofile)估算结果而执行了性能评价及比较。道路纵断面(roadprofile)的groundtruth通过如下过程获得。1)选择手动输入的路面领域的disparity(差距)信息。2)手动消除立体匹配失败的位置。3)使用剩余的disparity(差距)信息而复原各像素的三维位置。4)输入对目前影像中能够确认的最大位置的信息。5)到最大位置为止的三维点适用least-squaresestimator(最小二乘估计)而估算三次b样条曲线。这样获得的道路纵断面(roadprofile)可视为通过既定的立体匹配结果和三次b样条曲线模型而能够获得的最精密的道路纵断面(roadprofile)，将此用为groundtruth(地面实况)。

为性能评价而使用了AverageVerticalDifference(AVD，平均垂直差异)。若G和E分别表示根据groundtruth(地面实况)道路纵断面(roadprofile)和估算而获得的道路纵断面下端领域，AVD如数学式10，计算为G和E的对称差(symmetricdifference)除以最大距离(L)的值。

【数学式10】

$\mathrm{AVD}=\frac{\mathrm{G\ΔE}}{L}=\frac{(G\∪E)-(G\∩E)}{L}$

AVD表示路面估算结果的纵轴(Y轴)距离误差，该值越小，表示输出更正确地结果。

对本发明的实施例与使用对outlier(异常值)稳健的robustestimator(稳健估计)的两种现有方法进行了比较评价。第一个方法是M-estimator(M估计量)基础regiongrowing(区域生长)方法(以下称A方法)，第二个方法是RANSAC(随机抽样一致)基础sequentialestimation(序列估计)方法(以下称B方法)。表2呈现将三种方法适用到三种DB而计算AVD的结果。通过表2，能够确认到本发明的实施例在三种DB中都呈现出比现有两种方法更优秀的性能。若加上三种DB，提议的方法呈现9.6cm的AVD，A方法和B方法分别呈现20.3cm和19.5cm的AVD。A方法能够确认到DAIMLERDB中性能急剧降低。这是因为，6D-VISIONDB和KITTIDB如图6(a)的第一及第二行所示，大部分由前方障碍物不相邻而路面领域几乎未遮挡的状况构成，但DAIMLERDB如图6(a)的第三行所示，大部分是近距离存在车辆而路面领域被严重遮挡的状况。由此，能够确认到相比其他两种方法，A方法对路面遮挡状况非常敏感。B方法在6D-VISIONDB和KITTIDB中呈现最差的性能。这是因为该方法的性能依赖对立体匹配错误敏感的临界值基础sampling(抽样)方法。并且，三种方法都在6D-VISIONDB中相比其他DB呈现更优秀的性能，如图6(b)中能够确认，因包括在相应DB的densedisparitymap(稠密视差图)的品质比OpenCV(开放源代码计算机视觉类库)提供的SGM的结果优秀。

【表2】

能够通过两个方面说明本发明的实施例比现有方法优秀的理由。第一是因为提议的方法在较少出现路面领域时(outlier(异常值)的比率高时)更稳健。图8呈现根据路面领域的比率的三种方法的AVD值的变化。该图的横轴表示路面领域的比率，纵轴表示AVD值。路面领域的比率表示手动输入的路面领域的面积与整体影像的面积之间的比率。该图中提议的方法与路面领域的比率无关地具有类似的AVD值，但现有的两个方法中随着路面领域的比率减少，AVD值会增加。尤其，A方法中能够确认AVD值随着路面领域比率的减少而更急剧地增加。这是因为A方法所使用的M-estimator(M估计量)相比提议的方法所使用的Houghtransform(霍夫变换)及B方法所使用的RANSAC(随机抽样一致)，对不是路面的领域的比率(outlier(异常值)的比率)更加敏感。

提议的方法的性能优秀的第二个原因是因距离越远，越会使误差缓慢地增加。图9是根据距离的三种方法的AVD值的变化。该图的横轴表示Z轴距离，纵轴表示AVD值。该图中能够确认到提议的方法的误差增加率比现有的两个方法更加缓慢。能够从两个方面分析发生这种现象的原因。第一，提议的方法通过dynamicprogramming(动态规划)而考虑所有区间的信息而估算各区间的道路纵断面，但现有的两个方法都从近距离向远距离估算道路纵断面，仅依赖相应位置之前的信息而估算特定位置的道路纵断面。因此，现有方法中出现延续前一区间发生的道路纵断面估算错误的现象，这呈现为随着距离的增加而路面估算误差急剧增加的形态。第二，随着距离的增加，因perspectivedistortion(透视变形)，影像中的路面领域将减少，不是路面的领域所占的比率将增加。这表示远距离区间的outlier(异常值)的比率比近距离区间大很多。如通过图8所做的分析，提议的方法相比现有方法，对outlier(异常值)更加稳健，远距离中会输出更优秀的结果。

图10至图12分别呈现多种状况下使用三种方法而估算道路纵断面的结果。这些图中(a)呈现左侧立体影像和densedisparitymap(稠密视差图)，(b)呈现手动输入的道路纵断面的groundtruth(地面实况)，(c)呈现用三种方法估算道路纵断面的结果。(b)的黄色线表示道路纵断面的groundtruth(地面实况)，(c)的绿色、蓝色、红色线分别表示A方法、B方法及提议的方法的路面估算结果。图10呈现包括到KITTIDB的情况下估算道路纵断面额结果。因此，前方几乎没有障碍物且存在宽广的路面而正确执行立体匹配时，三种方法都成功地进行了路面估算。图11呈现包括到DAIMLERDB的情况下估算道路纵断面的结果。因此，因邻近的障碍物而看见较少的路面领域的状况下，提议的方法和B方法都呈现稳定的结果，但A方法失败于路面估算。这是与图8所分析的内容相一致的结果。图12呈现包括到6D-VISIONDB的情况下，估算道路纵断面的结果。因此，由于建筑物及车辆等，随着距离的增加而路面领域急剧减少的状况下，从约50m的地点开始，现有的两个方法路面估算的结果开始变得不稳定，但提议的方法却正确地执行了路面估算。这是与图9所分析的内容相一致的结果。

C.执行速度

提议的方法中，速度是从3.40-GHzIntelCorei7-2600CPU(4-GRAM)测定的。提议的方法中，DAIMLERDB中是38ms的速度，6D-VISIONDB和KITTIDB中为42ms的速度。6D-VISIONDB和KITTIDB的影像大小比DAIMLERDB的影像大小大2倍左右，执行速度却只增加了4ms。这是因为使用提议的方法时，将三维点累积到YZ-plane后，与影像的大小无关，需要几乎相同的执行时间。这是YZ-plane累积方法的优点之一。

Claims (17)

1.一种驾驶辅助装置，包括：

立体摄像机模块，安装于车辆，通过第1摄像头获得第1影像，通过第2摄像头获得第2影像；及

处理器，立体匹配(stereomatching)所述第1影像及所述第2影像而获得稠密视差图(densedisparitymap)，利用由粗到精(coarse-to-fine)技法而从所述稠密视差图估算三次b样条(cubicB-spline)曲线，利用所述三次b样条曲线，执行道路纵断面(roadprofile)，将所述车辆行驶的三维道路变换成二维。

2.根据权利要求1所述的驾驶辅助装置，

所述处理器，包括：

立体匹配部，立体匹配所述第1影像及第2影像而获得稠密视差图；及

路面估算部，利用由粗到精技法而从所述稠密视差图估算三次b样条曲线。

3.根据权利要求2所述的驾驶辅助装置，

所述路面估算部，包括：

像素处理部，将所述稠密视差图的所有像素复原成三维并将已复原成所述三维的像素累积到YZ平面；

分段线性函数估算部，从所述累积的结果估算分段线性(piece-wiselinear)函数；及

三次b样条曲线估算部，基于估算的分段线性函数而估算三次b样条曲线。

4.根据权利要求3所述的驾驶辅助装置，

所述分段线性函数估算部，包括：

霍夫变换适用部，对存在于累积结果的三维点适用霍夫变换(Houghtransform)而获得评选(voting)结果；及

动态规划执行部，将所述评选结果设定为数据项(dataterm)，将各区间直线的连接关系及倾斜度变化设定为平滑项(smoothnessterm)，执行动态规划(dynamicprogramming)而估算分段线性函数。

5.根据权利要求3所述的驾驶辅助装置，

所述分段线性函数估算部是根据数学式2估算的分段线性函数，

[数学式2]

Y＝tan(θ_n)·Z+ρ_n，Z_n-1≤Z＜Z_n

该数学式中Z_n-1到Z_n表示n次区间，θ_n和ρ_n表示存在于n次区间的直线的角度和Y轴切片，这时，ρ_n以各直线开始的位置为基准而计算。

6.根据权利要求3所述的驾驶辅助装置，

所述像素处理部，将已累积到YZ平面的像素按照包括在稠密视差图的道路距离的规定区间进行分割并处理。

7.根据权利要求1所述的驾驶辅助装置，还包括：

显示部，显示所述处理器中接收的影像。

8.根据权利要求7所述的驾驶辅助装置，

所述显示部为车辆内部前面的群集或HUD(HeadUpDisplay-抬头显示器)。

9.根据权利要求1所述的驾驶辅助装置，还包括：

输入部，通过多数按钮或触摸屏接收使用者输入。

10.根据权利要求1所述的驾驶辅助装置，还包括：

存储器，保存用于所述处理器的处理或控制的程序。

11.一种汽车，包括权利要求1至10任一所述的驾驶辅助装置。

12.一种车辆的驾驶辅助装置的运转方法，所述车辆的驾驶辅助装置包括立体摄像机模块，所述立体摄像机模块通过第1摄像头获得第1影像，通过第2摄像头获得第2影像，包括：

立体匹配(stereomatching)所述第1影像及所述第2影像而获得稠密视差图(densedisparitymap)的步骤；

利用由粗到精(coarse-to-fine)技法而从所述稠密视差图估算三次b样条(cubicB-spline)曲线的步骤；及

利用所述三次b样条曲线，执行道路纵断面(roadprofile)，将所述车辆行驶的三维道路变换成二维的步骤。

13.根据权利要求12所述的驾驶辅助装置的运转方法，

所述估算的步骤，包括：

将所述稠密视差图的所有像素复原成三维的步骤；

将所述复原成三维的像素累积到YZ平面的步骤；及

从所述累积的结果估算分段线性(piece-wiselinear)函数的步骤；

基于估算的分段线性函数而估算三次b样条曲线的步骤。

14.根据权利要求13所述的驾驶辅助装置的运转方法，

所述估算分段线性函数的步骤，包括：

对存在于累积结果的三维点适用霍夫变换(Houghtransform)而获得评选(voting)结果的步骤；及

将所述评选结果设定为数据项(dataterm)，将各区间直线的连接关系及倾斜度变化设定为平滑项(smoothnessterm)，执行动态规划(dynamicprogramming)而估算分段线性函数的步骤。

15.根据权利要求13所述的驾驶辅助装置的运转方法，

所述估算的步骤，

根据数学式2估算分段线性函数，

Y=tan(θ_n)·Z+ρ_n，Z_n-1≤Z＜Z_n[数学式2]

该数学式中Z_n-1到Z_n表示n次区间，θ_n和ρ_n表示存在于n次区间的直线的角度和Y轴切片，这时，ρ_n以各直线开始的位置为基准而计算。

16.根据权利要求13所述的驾驶辅助装置的运转方法，还包括：

将已累积到YZ平面的像素按照包括在稠密视差图的道路距离的规定区间进行分割并处理的步骤。

17.根据权利要求12所述的驾驶辅助装置的运转方法，还包括：

显示执行所述道路纵断面(roadprofile)的影像的步骤。