CN106204572B - 基于场景深度映射的道路目标深度估计方法 - Google Patents

Abstract

本发明公开了一种基于场景深度映射的道路目标深度估计方法，通过获取场景深度映射关系和目标定位两个要素，实现场景目标深度估计。在场景边缘检测和直线检测基础上，针对消失点和消失线定位不确定问题，使用最大期望算法，精确估计中心消失点和中心视野消失线；并利用摄像机模型，完成场景的深度映射关系构建。针对场景目标定位不准确问题，在场景分割基础上，采用Adaboost分类器训练并识别分割区域的类别标记；分析垂直目标的地面接触线，查找深度映射关系表，获得场景目标深度估计。

Description

基于场景深度映射的道路目标深度估计方法

技术领域

本发明涉及场景深度估计方法领域，具体是一种基于场景深度映射的道路目标深度估计方法。

背景技术

视觉中的深度度量的被测物体到成像平面的垂直距离，在计算机视觉中，深度估计有助于实现多种视觉任务，包括图像分割、目标识别和场景理解等等，同时在视频监控、机器人导航等领域也具有重要的应用前景。然而，由于真实道路场景的复杂性，从单一图像中恢复目标的真实深度仍然存在很大问题。

利用遮挡、凸形、T连接、亮度、纹理、尺寸大小等低层线索能够很好的恢复场景深度信息。给定一幅图像，Hoiem等人于2011年发表的《Recovering Occlusion Boundariesfrom an Image》根据遮挡区域与被遮挡区域相比距观测者更近的事实，从获取的局部遮挡关系推断出目标间可能的深度关系。Palou等人于2013年发表的《Monocular depthordering using T-junctions and convexity occlusion cues》根据T连接和凸形特性，来获取局部区域间的遮挡关系。申请号为201410637107.7的中国专利《一种单幅静态图像深度估计方法及装置》根据图像的像素亮度和清晰度获得单目深度估计。此外，运动低层线索同样也被采用。例如Doron等人于2008年发表的《Motion segmentation and depthordering using an occlusion detector》，利用运动引起场景中层区域增长，推断不同层之间的深度关系。而Palou等人于2012年发表的《Depth ordering on image sequencesusing motion occlusions》，利用光流获取指明遮挡关系的特殊点，并以点来确定局部区域间的深度关系。在实际的道路系统中，基于上述方法获得的往往是图像局部区域之间的深度关系，获得的深度信息往往和实际不相同。

利用低层线索进行场景深度估计无法消除深度估计中的模棱两可性，高层信息恢复深度信息的方法被提出。Liu等人于2010年发表的《Single image depth estimationfrom predicted semantic labels》，利用语义信息约束深度估计，如天空距离观测者最远，垂直的区域具有相似的深度值等。Zhuo等人于2015年发表的《Indoor scene structureanalysis for single image depth estimation》，介绍了场景深度的一种分层表达方式，结合低层深度线索与高层场景结构，提高深度估计的准确性。然而，利用几何结构和语义信息获取的约束条件过于粗糙，不利于获取更加准确的深度信息。

发明内容

本发明的目的是提供一种基于场景深度映射的道路目标深度估计方法，以解决现有技术由于遮挡等原因，深度图中目标的深度值不连续，深度估计结果不理想的问题。

为了达到上述目的，本发明所采用的技术方案为：

基于场景深度映射的道路目标深度估计方法，其特征在于：包括以下步骤：

(1)、消失点估计：对输入的场景彩色图像，首先将彩色图像转换为灰度图像，然后通过边缘检测得到边缘图，对边缘图进行霍夫变换检测直线，使用最大期望算法算法，估计候选直线是消失线的可能性，完成消失线和消失点估计；

(2)、场景深度映射关系构建：对摄像机几何参数标定，并获取深度映射关系表。对不同高度的摄像头都可以进行标定，提高处理的鲁棒性；

(3)、分割区域标识：将需要进行深度估计的场景彩色图像灰度化后进行运动目标分割获得候选集合图像，对采集的道路场景分割获得的候选集合图像块进行颜色、纹理、位置特征提取，训练多类区域识别的Adaboost分类器，实现天空、地面、垂直物体的多类标记预测；

(4)、目标截距和深度排序：获取垂直区域与地面的地面接触点，根据摄像机坐标系获取的深度映射关系表和垂直区域的地面接触点，获取该垂直区域的期望深度估计。

所述的基于场景深度映射的道路目标深度估计方法，其特征在于：步骤(1)中消失点估计具体过程如下：

步骤S1-1：根据消失点特性对所有候选直线进行分组，获得所有直线的方向统计直方图函数f_θ，计算方向统计直方图函数的窗口均值函数

步骤S1-2：计算方向统计均值差函数

找出该函数的过0点方向，作为直线分组的判定条件；将方向在峰值区域外的直线去除，获得初始的直线分组，并选取其中3个主要分组，计算各分组的候选消失点v_j；

步骤S1-3：计算消失线与消失点之间的估计余差，判定消失线与消失点的从属关系，从属关系越可靠，表示直线和消失点越相关，否则认为该直线为与消失点无关的异常直线；

步骤S1-4：计算消失点估计的可靠性，本步骤对应最大期望算法中的E步骤，即计算消失点的后验概率的期望；由于已知消失线h_θ,i对于消失点v_j的相关性概率p(h_θ,i|v_j)，基于贝叶斯原理，可以计算消失点对于消失线的后验概率，如公式(1)所示：

公式(1)中，分子中p(v_j)表示消失点的先验概率，通过消失点对应的分组直线数量估计获得，分子p(h_θ,i)表示该直线的可靠性，通过对该直线与三个消失点的响应求和获得，j的取值可以是初始的候选消失点，通过p(h_θ,i)＝Σ_jp(v_j)p(h_θ,i|v_j)来计算分母；

步骤S1-5：通过似然估计完成候选消失点和最终的消失点位置偏差问题，利用图谱理论估计快速的求解最大似然问题，消失点对于消失线的后验概率中的低秩信息；

步骤S1-6：消失点的最大似然估计，本步骤对应最大期望算法中的M步骤，即通过调整消失点参数

提高系统估计的可靠性；在第一次优化后，更新初始的候选消失点，重复步骤S1-4和步骤S1-5，此时，直线和新生成消失点的期望发生变化，重构消失点和消失线对应相关性矩阵，利用矩阵分解方法迭代完成多次消失点更新；如果更新过程中，消失点的变化小于给定的门限则认为消失点收敛，获得场景最终的消失点估计

步骤S1-7：分析三个消失点和场景空间位置的关系，找出在场景上方的消失点

所述的基于场景深度映射的道路目标深度估计方法，其特征在于：步骤(2)中场景深度映射关系构建具体过程如下：

步骤S2-1：针对消失点估计中的三个消失点，找出属于场景成像区域内部的消失点，作为深度标定的中心消失点v_center；

步骤S2-2：假定摄像机拍摄状态无倾斜，成像水平线与真实场景深度水平线平行，根据中心消失点的垂直位置uy_center，获取图像中与该垂直位置相同的直线为水平消失线line_ch；

步骤S2-3：确定确定中心视野消失线line_cv，该垂直线各像素为水平线集合的代表元素，计算该中心视野消失线line_cv、各像素的深度即获得场景中地面区域的深度关系映射表；

步骤S2-4：在成像系统中设置标定物体，已知该物体的真实距离D_i，单位为米，计算图像中成像物体高度；

步骤S2-5：根据摄像机的凸透镜成像原理，标定物理系统的摄像机模型的深度参数；

步骤S2-6：对中心视野消失线line_cv的各像素，利用其垂直坐标计算成像物体高度，利用深度估计线性模型D_i＝θ/h_i，计算各种垂直位置条件下的深度映射关系表，获得场景中各水平线上的真实世界深度，单位为米。

所述的基于场景深度映射的道路目标深度估计方法，其特征在于：步骤(3)中分割区域标识具体过程如下：

步骤S3-1：提取区域特征包括颜色特征，纹理特征和位置特征；

步骤S3-2：对采集的街道场景分割获得的候选集合图像块，训练Adaboost分类器，获得Adaboost模型参数，实现天空、地面、垂直物体的多类标记预测；

步骤S3-3：利用离线训练好的Adaboost模型M_train，对测试图像块区域进行类别预测，依次获得各主要区域的类别标记，包括天空、地面、垂直物体类别。

所述的基于场景深度映射的道路目标深度估计方法，其特征在于：分割区域标识中，训练Adaboost分类器具体过程如下：

(a)、将天空、地面、垂直物体三类的分类器模型，拆开为三个一对多的单类场景分类器，即天空与非天空、地面与非地面、垂直物体与非垂直物体，Adaboost训练单类场景分类器；

(b)、针对颜色、位置、纹理的多元素特征向量，对每个元素factor采用阈值弱分类器区分不同场景类别；

(c)、根据各元素特征弱分类器误差计算弱分类器权重；

(d)、Adaboost更新样本权重更新过程中，对于分类错误的样本，加大其对应的权重；而对于分类正确的样本，降低其权重，从而生成更新后的训练样本分布；

(e)、再次对新的样本的其他特征元素进行训练，获得其他特征的弱分类器，计算获得弱分类器误差、弱分类器权重，不断循环，得到多个弱分类器，把这多个弱分类器按弱分类器权重叠加起来，获得最终的强分类器。

所述的基于场景深度映射的道路目标深度估计方法，其特征在于：步骤(4)中目标截距和深度排序具体过程如下：

步骤S4-1：以垂直物体标记的分割区域为对象，使用尺度为3x3的圆盘结构算子，进行数学形态学腐蚀，利用数学形态学腐蚀前后区域的差异，获取区域的边界像素集合；

步骤S4-2：计算边界像素的梯度方向，依次分析边界像素两侧的标记，将边界下侧为地面标记区域的像素点保留，获取地面接触点像素集合；

步骤S4-3：按照垂直坐标对地面接触点进行排序，取垂直坐标较大的10％像素，作为该垂直区域的深度估计的参考点集合；

步骤S4-4：对垂直区域的深度估计的参考点集合，进行深度映射关系表查找，获取该垂直区域的最大深度位置和最小深度位置；

步骤S4-5：对垂直区域的深度估计的参考点集合，计算其平均值，作为该垂直区域的期望深度估计，不断重复该步骤，完成场景中各个垂直区域的期望深度估计。

本发明提出来一种基于场景深度映射的道路目标深度估计方法。利用最大期望算法迭代估计中心消失点的精确位置。利用中心视野消失线构建场景深度映射关系。构建Adaboost分类器，获得分割区域类别的标记，提高目标定位和识别精度。分析垂直目标的地面接触线，查找深度映射关系表，获得道路目标的深度估计结果。

附图说明

图1为本发明提出的场景深度估计方法流程图。

图2为本发明实施例中场景边缘提取和直线检测，其中：

图2a为道路场景图像(灰度)，图2b为场景边缘检测，图2c为场景直线检测。

图3为本发明实施例中场景消失点与消失线检测，其中：

图3a为透视模型，图3b为场景消失点，图3c为场景消失线。

图4为本发明实施例中场景深度映射关系生成过程示意图，其中：

图4a为中心视野消失点和中心视野消失线，图4b为摄像机模型，图4c为场景深入映射关系。

图5为本发明实施例中场景区域分割，其中：

图5a为道路场景图像，图5b为分水岭初始区域分割，图5c为基于图模型的区域合并结果。

图6为本发明实施例中场景目标识别，其中：

图6a为场景目标分类器，图6b为场景目标识别的类别标记。

图7为本发明实施例中场景深度估计结果，其中：

图7a为目标轮廓与地面接触线，图7b为基于地面接触线的场景目标深度映射。

具体实施方式

下面结合附图及具体实施方式详细介绍本发明。本发明为基于场景深度映射的道路目标深度估计方法，具体流程如图1所示，本发明的实现方案分为以下步骤：

步骤S1：使用Canny边缘检测，提取场景图像中的结构信息，以便后续场景消失线提取，具体操作步骤包括：

步骤S1-1：图像灰度化，对于输入的彩色图像，将RGB各个通道的采样值进行平均处理，转换成灰度图像I，如图2(a)所示。图像高斯平滑处理，以便去除图像中的噪声点，避免对后续边缘、直线检测的干扰，获得平滑后的场景图像I_σ＝G_σ*I，其中σ是高斯函数G_σ的标准差。

步骤S1-2：图像梯度参数计算，对平滑后的场景图像I_σ，计算场景中各像素点的一阶水平梯度I_x，一阶垂直梯度I_y。计算场景中各像素点的一阶梯度幅值I_M和方向I_θ。将初始的Canny边缘响应记做E＝I_M。

步骤S1-3：对场景中像素的3*3邻域区域内像素进行非极大抑制，如果该像素点(i,j)的幅值I_M(i,j)，比沿梯度方向线的两个相邻象素梯度幅值小，则将该像素点(i,j)处Canny边缘响应E(i,j)置0，获得非极大抑制后的边缘检测响应。

步骤S1-4：双阈值检测，设置高阈值，保留高可靠度的Canny角点，设置低阈值，获得低可靠度的Canny角点。对高阈值角点进行8连通性检测，添加与高阈值点邻接的低阈值点，将图像中的边缘连接成轮廓。迭代执行直至没有没有发现新的邻接角点。将最终的连通角点Canny边缘响应保留，将非保留角点的其他像素(i,j)的Canny响应E(i,j)置0，最终获得Canny角点响应。图2(b)为场景边缘检测结果示意图。

步骤S2：使用Hough直线检测，为消失线估计，提供场景中的候选直线，具体操作步骤包括：

步骤S2-1：初始化直线检测的Hough变换累加器H_B，其中各元素初始值为0。该矩阵横坐标容量为1-180，表示-89度到90度。矩阵纵坐标为场景图像对角线长度。

步骤S2-2：对Canny响应E中的保留角点，根据该像素点坐标，计算Hough变换的半径参数h_r和方向参数h_θ。具体来说，对于过该像素的直线，依次调整直线方向h_θ，从-89度到90度，对于该直线，计算场景图像坐标原点对该直线的距离获得半径h_r。将Hough变换的半径参数和方向参数取整后，放入Hough变换累加器H_B。

步骤S2-3：对所有Canny角点，完成Hough变换累加器H_B统计。设置指向响应阈值，将阈值较高的直线取出，获得候选直线集合H_s＝{h_s,i},，其中集合中每个元素h_s,i＝{h_b,i,h_r,i,h_θ,i}，记录该直线共线点数量、半径、方向。图2(c)为中场景直线检测的结果示意图。

步骤S3：使用最大期望算法，估计候选直线是消失线的可能性，完成消失线和消失点估计，具体操作步骤包括：

步骤S3-1：三维空间中平行的直线映射到图像中时，往往会相交于一点(有可能是无限远的)，这个点就称为消失点(图3(a)为消失点透视模型示意图)，根据该特性对直线分组。对候选直线集合H_s＝{h_s,i},，获得所有直线的方向统计直方图函数f_θ。计算方向统计直方图函数的窗口均值函数

具体做法为：以当前角度为中心点，以f_r/2为窗口半径，计算方向统计直方图函数f_θ窗口段内的统计均值为窗口均值函数

步骤S3-2：计算方向统计均值差函数

找出该函数的过0点方向，作为直线分组的判定条件。将方向在峰值区域外的直线去除，获得初始的直线分组。并选取其中3个主要分组，计算各分组的候选消失点v_j。

步骤S3-3：消失线和消失点的相关性分析。初始的候选消失点较多，根据消失点的归属关系，消失线可以分为2种基本情况：一种情况是与三个主要的消失点对应，另一种情况是与场景消失点都无关。在没有噪声干扰的情况下，一条消失线与消失点之间应该存在强相关性，其估计余差为v_j·h_θ,i＝0，其中j的取值与初始候选消失点数量相同，i的取值范围与场景中存在的直线数量一致。在噪声存在的情况下，v_j·h_θ,i不等于0，但是近似服从一个正态分布

因此，通过计算消失线与消失点之间的估计余差，可以判定消失线与消失点的从属关系，其概率形式为：

其中可以看出，v_j·h_θ,i取值越接近于0，则p(h_θ,i|v_j)从属关系越可靠，如果直线对任何消失点的可靠性均较低，则认为该直线为与场景消失点无关的异常直线。此时，可以计算出所有直线与消失点的对应关系，便于后续消失点期望的计算。

步骤S3-4：计算消失点估计的可靠性，该步骤对应最大期望算法中的E步骤，即计算消失点的后验概率的期望。由于已知消失线h_θ,i对于消失点v_j的相关性概率p(h_θ,i|v_j)，基于贝叶斯原理，可以计算消失点对于消失线的后验概率，有：

其中，分子中p(v_j)表示消失点的先验概率，通过消失点对应的分组直线数量估计获得。分子p(h_θ,i)表示该直线的可靠性，通过对该直线与三个消失点的响应求和获得，j的取值可以是初始的候选消失点，其分母计算公式为：

p(h_θ,i)＝Σ_jp(v_j)p(h_θ,i|v_j)

步骤S3-5：消失点的似然优化。候选消失点和最终的消失点存在位置偏差，通过似然估计完成一次优化过程。场景中所有消失点的最大似然估计为：

为了快速的求解上述最大似然问题，利用图谱理论估计，消失点对于消失线的后验概率中的低秩信息。具体做法如下：计算各消失点和消失线对应相关性矩阵w_vh＝p(v_j|h_θ,j)，显然该矩阵的尺寸为W_vh＝{w_vh}_v,h∈R^3×n，其中3为主要消失点的个数，n为候选直线的数量。W_vh中的每一列是一条直线对各候选消失点的概率，其中最大值对应该直线的归属消失点，可以获得A_vh＝{a_vh}_v,h∈R^3×n，表示直线和消失点的归属关系，其中a_vh归属消失点数值为1，非归属关系消失点数值为0。

为了求解出三个主要消失点，同时满足上述最大似然，需要做如下假设：消失点对应分组内直线较多；消失点对应分组内直线方向基本一致；消失点之间位置差异较大。上述目标函数在线性似然估计的条件下，使用加权最小二乘问题的解决方法，所以消失点的估计就转换成了最小二乘问题。

J(v_j)＝argmin_vj||W_vh·A_vh ^T·v_j||²

其中，A_vh∈R^3×n是一个转换矩阵，表示直线和消失点的归属关系，v_j∈R^3×1表示消失点的方向。为了求解最佳的v_j，其满足A_vh·W_vh ^T·W_vh·A_vh ^T协方差矩阵的最小特征值对应的特征向量，从而实现候选消失点的第一次优化求解

步骤S3-6：消失点的最大似然估计，该步骤对应最大期望算法中的M步骤，即通过调整消失点参数

提高系统估计的可靠性。在第一次优化后，更新初始的候选消失点，重复步骤S3-4和步骤S3-5，此时，直线和新生成消失点的期望发生变化，重构消失点和消失线对应相关性矩阵，利用矩阵分解方法迭代完成多次消失点更新。如果更新过程中，消失点的变化小于给定的门限则认为消失点收敛，获得场景最终的消失点估计

如图3(b)为消失点估计的结果示意图。

步骤3-7：找出景深方向的消失线。分析三个消失点和场景空间位置的关系，找出在场景上方的消失点

此时，可以通过消失线和消失点的相似性，获得直线分组，生成对应的场景消失线集合

为后续景深估计提供参考坐标系。图3(c)为场景消失线检测结果示意图。

步骤S4：场景深度映射关系构建。具体操作步骤包括：

步骤S4-1：场景内部的中心消失点。在场景三个消失点

中，找出属于场景成像区域内部的消失点，作为深度标定的中心消失点v_center。确定属于该消失点的场景世界坐标系的参数(x_center,y_center,z_center)，属于中心消失点的图像坐标系的参数(ux_center,uy_center)。

步骤S4-2：确定水平消失线。假定摄像机拍摄状态无倾斜，成像水平线与真实场景深度水平线平行，根据中心消失点的垂直位置uy_center，获取图像中与该垂直位置相同的直线为水平消失线line_ch，该直线上场景深度相同。

步骤S4-3：确定中心视野消失线。假定地面区域平坦，在地面区域内任意两个成像垂直位置相同的像素具有相同的深度，场景中地面区域的深度信息，具有等深线，即图像中的一系列水平线。在场景图像中，确定通过消失点的垂直线line_cv，该垂直线各像素为水平线集合的代表元素，计算该中心视野消失线line_cv，各像素的深度即获得场景中地面区域的深度映射表。图4(a)为场景中心视野消失点和中心视野消失线检测结果示意图。

步骤S4-4：计算图像中成像物体高度。在成像系统中设置标定物体，已知该物体的真实距离D_i，单位为米。对于中心视野消失线上的物体成像像素(ux_center,vy_i)，该像素相对于中心点的图像高度为：

h_i＝|vy_i-vy_center|

注意，只考虑地面区域的物体成像高度，因此，通常有vy_i>vy_center。

步骤S4-5：摄像机模型的深度标定参数确定。根据摄像机的凸透镜成像原理(具体如图4(b)所示)，基于物理系统的凸透镜焦距参数：f＝h_i·D_i/H，其中h_i为标定物成像物体高度，D_i为标定物物体与摄像机的距离，进一步假设存在一系列若干年定位高度的真实物体考虑其成像位置，H为真实世界的单位物体高度。此时，核心问题转化为求解摄像机深度标定参数θ＝f·H＝D_i/h_i，进而获得摄像机模型的深度标定参数θ。

步骤S4-6：场景深度映射关系表。对中心视野消失线line_cv的各像素，利用其垂直坐标计算成像物体高度，利用深度估计线性模型D_i＝θ/h_i，计算各种垂直位置条件下的深度映射关系表，获得场景中各水平线上的真实世界深度，单位为米。图4(c)为场景深度映射关系示意图。

步骤S5：区域分割，在初始边缘检测的基础上，分析轮廓封闭的趋势，获得目标的候选区域，具体操作步骤包括：

步骤S5-1：分水岭变换。分水岭是指具有区域划分能力的图像边缘，获得具有同质极小值点的稳定区域，即集水盆图像，集水盆之间的边界点，即为分水岭。具体操作过程为，首先对每个像素的灰度级进行从低到高排序，然后在从低到高实现淹没过程中，对每一个局部极小值在其对应的灰度级别采用先进先出结构进行判断及标注。通过分水岭分割法，会产生许多的候选区域r,如图5(b)为分水岭分割后获得的结果示意图。

步骤S5-2：构建图模型。根据分水岭分割后的候选区域建立图模型，G_r＝＜V_r,E_r>，V_r为图模型中所有节点集合，对应每个分水岭候选区域，E_r为连接节点的所有边的集合，表示各个区域之间的关联。基于区域一致性假设，将分水岭区域的RGB颜色信息作为节点属性，将两个区域间的平均颜色的相似性，作为边关系强度，有:

W_r＝{w(r_p,r_q)}_p,q。

步骤S5-3：图论最小割的计算，求解区域之间结构表示。根据边缘强度分析候选区域节点的聚类结果，寻找满足最小容量的集合划分方案。

argmin∑_s∑_tcut(s,t)＝argmin∑_s∑_t∑_p∈s,q∈tw(r_p,r_q)

其中，cut(s,t)是指一对区域之间的划分方案，s和t分别是划分方案中的两个候选区域的集合，w(r_p,r_q)是指2个划分之间的边关系强度，其最小化过程即找出满足相似性最小化的划分方案。使用PCA方法，实现上述公式的求解过程。对W_r＝{w(r_p,r_q)}_p,q求解协方差矩阵，并计算协方差矩阵的特征值，其最小特征值对应的特征向量，即是原有图模型中的重要结构，将原始的图模型节点，映射到低维空间，来反映每个节点与其他节点的结构关系。

步骤S5-4：根据分割区域个数，对节点映射后的低维空间，进行k-means聚类。聚类结果生成各个节点的聚类标记l_r，即完成了图论节点划分的任务。

步骤S5-5：区域合并。根据各节点的聚类标记l_r，将相同标记的区域合并，生成新的分割区域r_fusion。解决了分水岭严重过分割的问题，为后续目标分析提供初始区域。如图5(c)为基于图模型的区域合并结果示意图。

步骤S6：分割区域识别。获得分割区域后，需要对其进行类别标记，将其标记为地面、天空、垂直物体，并针对垂直物体进行场景深度估计。通过构造包含街道场景的图像数据集，作为区域识别的训练集合，并对各图像进行区域分割，获得候选区域，分别针对地面、天空和垂直物体构建独立的图像块集合，提取其中的位置特征、颜色特征、纹理特征等。具体操作过程包括：

步骤S6-1:区域特征描述。区域特征的提取包括颜色特征，纹理特征和位置特征。

其中所述区域特征提取，进一步包括以下步骤：

步骤S6-1-1：颜色特征。采用两种颜色空间代表颜色，即计算分割区域的平均RGB颜色空间及HSV颜色空间作为颜色特征向量f_color。

步骤S6-1-2：纹理特征。采用19×19窗口对分割区域进行滤波，使用6个方向的边界滤波器，6个方向的条状滤波器，2个尺寸的Laplace滤波器。将滤波后区域内部的响应进行直方图统计，获得纹理特征向量f_texture。

步骤S6-1-3：位置特征。首先对场景图像的高、宽像素对，进行位置归一化。并将各分割区域内第10％和第90％像素的横、纵坐标在图像中的位置，以及分割区域的归一化面积百分比作为位置特征f_position。

步骤S6-2：训练多类区域识别的Adaboost分类器(具体如图6(a)所示)。对采集的街道场景的图像集合，进行区域分割获得候选集合图像块，依次提取训练分割区域的颜色、纹理、位置特征feature＝＜f_color,f_texture，f_position>。采用人工标注方式，获得天空、地面、垂直物体的图像块标记。在已知训练集特征和标记的基础上D_train＝＜feature,label>，训练Adaboost分类器，获得Adaboost模型参数M_train:feature→label，实现天空、地面、垂直物体的多类标记预测。

其中所述多类区域识别的Adaboost分类器训练，进一步包括以下步骤：

步骤S6-2-1：Adaboost训练单类场景分类器。将天空、地面、垂直物体三类的分类器模型，拆开为三个一对多的单类场景分类器，即天空与非天空、地面与非地面、垂直物体与非垂直物体M_train＝{M_sky,M_ground,M_vertical}。其中垂直物体与非垂直物体为关注的场景目标分类器，其训练集中正例为垂直物体D_pos,vertical＝{d_vertical}，负例为天空、地面D_neg,vertical＝{d_sky,d_ground}。地面与非地面为辅助判定地面区域的分类器，其训练集中正例为地面，负例为天空、垂直物体。同理，天空与非天空用于判定天空区域。

步骤S6-2-2：Adaboost训练弱分类器，分割区域的弱分类器模型采用桩分类器形式，即针对颜色、位置、纹理的多元素特征向量，对每个元素factor采用阈值弱分类器区分不同场景类别。以垂直物体单类分类器M_vertical为例，根据初始化各样本权重w_vertical,0，估计当前弱分类器的最佳阈值th_{factor,vertical}，，计算各元素特征弱分类器h_{factor,vertical}中，垂直物体类别的误差err_{factor,vertical}。

步骤S6-2-3：Adaboost计算弱分类器权重，根据各元素特征弱分类器误差计算弱分类器权重，以垂直物体单类分类器M_vertical为例，弱分类器权重计算方式为：

a_{factor,vertical}＝ln((1-err_{factor,vertical})/err_{factor,vertical})。

步骤S6-2-4：Adaboost更新样本权重，Adaboost弱分类器误差计算，依赖于每个样本对应的权重，每次调整模型参数优先考虑错误分类的样本。初始时，每个样本对应的权重服从均匀分布1/n，即其中n为训练样本数。每次样本权重更新过程中，对于分类错误的样本，加大其对应的权重；而对于分类正确的样本，降低其权重，以垂直物体单类分类器M_vertical为例，在每次弱分类器过程中，权值更新为

从而生成更新后的训练样本分布。

步骤S6-2-5：Adaboost构建强分类器，在新的样本分布下w_vertical,i+1，再次对其他特征元素进行训练，获得其他特征的弱分类器，计算获得弱分类器误差、弱分类器权重。依次类推，经过T次循环，得到T次训练样本分布，T个弱分类器，把这T个弱分类器按弱分类器权重叠加起来，获得最终的强分类器。以垂直物体单类分类器M_vertical为例，识别过程为：

M_vertical(feature)＝sign(∑_Ta_{factor,vertical}·h_{factor,vertical}(feature))

此时获得各弱分类器权重、弱分类器中对应的特征元素、以及最佳阈值。重复上述步骤，实现天空、地面单类Adaboost分类器。

步骤S6-3：利用训练好的Adaboost模型M_train，进行分割区域类别预测。对测试场景的图像，利用图像分割方法获得图像块，对其中主要图像区域进行特征提取，获得颜色、纹理、位置特征feature_test。利用离线训练好的Adaboost模型M_train，对测试图像块区域进行类别预测，依次获得各主要区域的类别标记，包括天空、地面、垂直物体类别，有：

label_test＝M_train(feature_test)

此时不同分割区域都有对应的场景类别标签。如图6(b)为场景目标识别的类别标记示意图。

步骤S7：目标截距与深度估计。垂直目标的地面接触点是对应真实世界中排序目标与地面相接触位置的像素集合，是判断目标在场景中相对位置的重要依据，在此基础上估计垂直区域深度，具体操作步骤包括:

步骤S7-1：垂直区域边界像素集合获取。以垂直物体标记的分割区域为对象r_vertical，使用尺度为3X3的圆盘结构算子，进行数学形态学腐蚀，获得腐蚀后的图像erode(r_vertical)，利用数学形态学腐蚀前后区域的差异，获取区域的边界像素集合

Boundary＝r_vertical-erode(r_vertical)

步骤S7-2：垂直区域地面接触点获取。计算边界像素的梯度方向，依次分析边界像素两侧的标记，将边界下侧为地面标记区域的像素点保留，获取地面接触点像素集合

Boundary_g＝{b_i,j|label(b_i,j+1)＝ground,b_i,j∈Boundary}

如图7(a)为目标和地面的地面接触线结果示意图。

步骤S7-3：垂直区域地面接触点筛选。按照垂直坐标对地面接触点进行排序，取垂直坐标较大的10％像素，作为该垂直区域的深度估计的参考点集合Bound_g。

步骤S7-4：垂直区域的最大、最小深度估计。在摄像机坐标系获取的深度映射关系表DepthMap中，根据垂直坐标位置，对地面区域各像素点深度均有估计。对垂直区域的深度估计的参考点集合，进行深度映射关系表查找，获取该垂直区域的最大深度位置max_j(Bound_g)，计算最大深度估计Dmax＝DepthMap(max_j(Bound_g))，同理，根据垂直区域的最小深度位置min_j(Bound_g)，计算最小深度估计Dmin＝DepthMap(min_j(Bound_g))。

步骤S7-5：垂直区域的期望深度估计。对垂直区域的深度估计的参考点集合，获得像素对应的深度估计集合Dset＝DepthMap(Bound_g)，计算其平均值，作为该垂直区域的期望深度估计

其中|Dset_b|为垂直区域的深度估计的参考点集合中像素数量。重复步骤S7，完成场景中各个垂直区域的期望深度估计，单位为米。如图7(b)为场景深度估计结果示意图。

Claims (4)

1.基于场景深度映射的道路目标深度估计方法，其特征在于：包括以下步骤：

(1)、消失点估计：对输入的场景彩色图像，首先将彩色图像转换为灰度图像，然后通过边缘检测得到边缘图，对边缘图进行霍夫变换检测直线，使用最大期望算法，估计候选直线是消失线的可能性，完成消失线和消失点估计；

(2)、场景深度映射关系构建：对摄像机几何参数进行标定，并获取深度映射关系表；对不同高度的摄像头进行标定，提高处理的鲁棒性；

(3)、分割区域标识：将需要进行深度估计的场景彩色图像灰度化后进行运动目标分割获得候选集合图像，对采集的道路场景分割获得的候选集合图像块进行颜色、纹理、位置特征提取，训练多类区域识别的Adaboost分类器，实现天空、地面、垂直物体的多类标记预测；

(4)、目标截距和深度排序：获取垂直区域与地面的地面接触点，根据摄像机坐标系获取的深度映射关系表和垂直区域的地面接触点，获取该垂直区域的期望深度估计；

步骤(1)中消失点估计具体过程如下：

步骤S1-1：根据消失点特性对所有候选直线进行分组，获得所有候选直线的方向统计直方图函数f_θ，计算方向统计直方图函数的窗口均值函数

步骤S1-2：计算方向统计均值差函数

找出该方向统计均值差函数的过0点方向，作为候选直线分组的判定条件；将方向在峰值区域外的候选直线去除，获得初始的候选直线分组，并选取其中3个主要候选直线分组，计算各分组的候选消失点v_j，j为候选消失点集合下标；

步骤S1-3：计算消失线与消失点之间的估计余差，判定消失线与消失点的从属关系，从属关系越可靠，表示消失线和消失点越相关，否则认为该消失线为与消失点无关的异常直线；

步骤S1-4：计算消失点估计的可靠性，本步骤计算消失点的后验概率的期望；由于已知消失线h_θ,i对于消失点v_j的相关性概率p(h_θ,i|v_j)，基于贝叶斯原理，可以计算消失点对于消失线的后验概率，如公式(1)所示：

公式(1)中，分子中p(v_j)表示消失点的先验概率，通过消失点对应的分组候选直线数量估计获得，分子p(h_θ,i)表示该候选直线的可靠性，通过对该候选直线与三个消失点的响应求和获得，通过p(h_θ,i)＝∑_jp(v_j)p(h_θ,i|v_j)来计算分母；

步骤S1-5：通过似然估计完成候选消失点和最终的消失点位置偏差问题，利用图谱理论估计快速的求解最大似然问题，估计消失点对于消失线的后验概率中的低秩信息；

步骤S1-6：消失点的最大似然估计，本步骤通过调整消失点参数，提高系统估计的可靠性；在第一次优化后，更新初始的候选消失点，重复步骤S1-4和步骤S1-5，此时，消失线和新生成消失点的期望发生变化，重构消失点和消失线对应相关性矩阵，利用矩阵分解方法迭代完成多次消失点更新；如果更新过程中，消失点的变化小于给定的门限则认为消失点收敛，获得场景最终的消失点估计；

步骤S1-7：分析三个消失点和场景空间位置的关系，找出在场景上方的消失点；

步骤(2)中场景深度映射关系构建具体过程如下：

步骤S2-1：针对消失点估计中的三个消失点，找出属于场景成像区域内部的消失点，作为深度标定的中心消失点v_center；

步骤S2-2：假定摄像机拍摄状态无倾斜，成像水平线与真实场景深度水平线平行，根据中心消失点的垂直位置uy_center，获取图像中与该垂直位置相同的直线为水平消失线line_ch；

步骤S2-3：确定中心视野垂直消失线line_cv，该垂直消失线各像素为水平线集合的代表元素，计算该中心视野垂直消失线line_cv、各像素的深度，用于获得场景中地面区域的深度关系映射表，即中心视野消失线上的物体成像像素集合中，各像素的标定物成像物体高度h_i，与标定物物体与摄像机的距离D_i的关系表；

步骤S2-4：在成像系统中设置标定物体，已知该标定物体的真实距离D_i，单位为米，计算图像中成像物体高度；

步骤S2-5：根据摄像机的凸透镜成像原理，标定物理系统的摄像机模型的深度参数，基于物理系统的凸透镜焦距参数：f＝h_i·D_i/H，其中i为中心视野消失线上的物体成像像素集合的下标，h_i为标定物成像物体高度，D_i为标定物物体与摄像机的距离，进一步假设存在一系列若干的真实物体的物体高度和摄像机距离，H为真实世界的单位物体高度；此时，核心问题转化为求解摄像机深度标定参数θ＝f·H＝D_i·h_i，进而获得摄像机模型的深度标定参数θ；

步骤S2-6：对中心视野垂直消失线line_cv的各像素，利用其垂直坐标计算成像物体高度，利用深度估计线性模型D_i＝θ/h_i，计算各种垂直位置条件下的深度映射关系表，即中心视野消失线上的物体成像像素集合中，各像素的标定物成像物体高度h_i，与标定物物体与摄像机的距离D_i的关系表，获得场景中各水平线上的真实世界深度，单位为米。

2.根据权利要求1所述的基于场景深度映射的道路目标深度估计方法，其特征在于：步骤(3)中分割区域标识具体过程如下：

步骤S3-1：提取区域特征包括颜色特征，纹理特征和位置特征；

步骤S3-2：对采集的街道场景分割获得的候选集合图像块，训练Adaboost分类器，获得Adaboost模型参数，实现天空、地面、垂直物体的多类标记预测；

步骤S3-3：利用离线训练好的Adaboost模型M_train，对测试图像块区域进行类别预测，依次获得各主要区域的类别标记，包括天空、地面、垂直物体类别。

3.根据权利要求1或2所述的基于场景深度映射的道路目标深度估计方法，其特征在于：分割区域标识中，训练Adaboost分类器具体过程如下：

(a)、将天空、地面、垂直物体三类的分类器模型，拆开为三个一对多的单类场景分类器，即天空与非天空、地面与非地面、垂直物体与非垂直物体，使用Adaboost方法，训练单类场景分类器；

(b)、针对颜色、位置、纹理的多元素特征向量，对每个元素factor采用阈值弱分类器区分不同场景类别；

(c)、使用各元素特征弱分类器误差，作为弱分类器权重；

(d)、Adaboost更新样本权重过程中，对于分类错误的样本，加大其对应的权重；而对于分类正确的样本，降低其权重，从而生成更新后的训练样本分布；

(e)、再次对新的样本的其他特征元素进行训练，获得其他特征的弱分类器，计算获得弱分类器误差、弱分类器权重，不断循环，得到多个弱分类器，把这多个弱分类器按弱分类器权重叠加起来，获得最终的强分类器。

4.根据权利要求1所述的基于场景深度映射的道路目标深度估计方法，其特征在于：步骤(4)中目标截距和深度排序具体过程如下：

步骤S4-1：以垂直物体标记的分割区域为对象，使用尺度为3x3的圆盘结构算子，进行数学形态学腐蚀，利用数学形态学腐蚀前后区域的差异，获取区域的边界像素集合；

步骤S4-2：计算边界像素的梯度方向，依次分析边界像素两侧的标记，将边界下侧为地面标记区域的像素点保留，获取地面接触点像素集合；

步骤S4-3：按照垂直坐标对地面接触点进行排序，取垂直坐标较大的10％像素，作为该垂直区域的深度估计的参考点集合；

步骤S4-4：对垂直区域的深度估计的参考点集合，进行深度映射关系表查找，获取该垂直区域的最大深度位置和最小深度位置；

步骤S4-5：对垂直区域的深度估计的参考点集合，计算其平均值，作为该垂直区域的期望深度估计，不断重复该步骤，完成场景中各个垂直区域的期望深度估计。

Images