CN108108667B - 一种基于窄基线双目视觉的前方车辆快速测距方法 - Google Patents

Abstract

一种基于窄基线双目视觉的前方车辆快速测距方法，属于计算机视觉技术领域。本发明按照经典方法处理右目图像，包括车道线ROI设定、车道线检测、车辆ROI设定、车辆识别、车辆区域确定。对于左目图像，则根据双目视觉的成像特点和前一帧图像的距离信息，直接估计车辆区域，大大简化了左目图像的处理。同时，对左、右目图像车辆区域中所有匹配特征点对所计算的横向视差，进行了中值处理，选取了一组平稳的视差值子集用于计算前方车辆的距离，进一步提高了测距精度。经实验对比，与经典对称方法相比，本发明方法测距速度平均可提升37.2％，测距误差平均可降低12.8％。

Description

一种基于窄基线双目视觉的前方车辆快速测距方法

技术领域

本发明涉及计算机视觉技术领域，特别是涉及一种基于窄基线双目视觉的前方车辆快速测距方法。

背景技术

计算机视觉技术在车辆辅助驾驶方面应用广泛，能够帮助驾驶人员减少操作错误、避免交通事故的发生。前方障碍物检测是车辆辅助驾驶的重要内容之一，其主要任务是检测当前行进车辆前方的障碍物，如车辆、行人等，并计算前方障碍物的距离，进而为驾驶人员或无人驾驶车辆系统提供安全避障的判别依据。

按照所使用视觉传感器的种类不同，计算机视觉测距技术主要分为两种：单目测距和双目测距。单目测距采用单通道视觉传感器，主要是在运动中恢复结构。常见的方法是利用特征点实现追踪、匹配，再根据坐标映射，将障碍物的图像平面坐标映射成路面平面坐标，进而计算出障碍物距离。单目测距系统成本低，但是需要多帧图像才能完成距离测量，且难以实现高精度的测距结果。相比之下，双目测距系统增加了一个图像采集通道，即采用了双通道视觉传感器。与单目视觉相比，双目视觉增加了设备成本与计算量。但随着计算机视觉技术的快速发展，图像采集设备的成本逐渐降低，而计算速度迅速提升。因此，双目测距系统已成为测距研究的热点方向。

经典的前方车辆双目测距方法采用相同的方式处理左右两个通道的图像。具体而言，首先，对左、右目图像分别进行车道线感兴趣区域(region of interest，ROI)设定、车道线检测、车辆ROI设定、车辆识别、车辆区域确定。然后，在左、右目图像的车辆区域进行提取特征点与匹配。最后，对匹配的特征点对计算横向视差，并根据获得的视差值计算前方车辆的距离。然而，在车载窄基线双目视觉测距系统中，两个摄像头水平摆放且距离较近，获取的左、右目图像关联性强。如果对左、右目图像进行对称的单独处理，势必导致处理冗余，增加双目测距系统的检测时间，也就降低了双目测距系统的检测速度，进而限制了行进车辆的行驶速度。

发明内容

本发明提供了一种基于窄基线双目视觉测量前方车辆距离的新算法，通过非对称地处理左、右目图像，解决了上述对称处理左、右目图像所导致的冗余问题。同时，通过引入横向视差的中值处理，进一步提高了测距精度。

本发明的技术方案如图1所示，对于右目图像，按照经典方法进行车道线ROI设定、车道线检测、车辆ROI设定、车辆识别、车辆区域确定；对于左目图像，根据双目视觉的成像特点和前一帧图像的距离信息，直接估计车辆区域。接着，对左、右目图像中的车辆区域提取特征点，并进行特征匹配。然后，对所有匹配的特征点对计算横向视差，并进行中值处理。最后，利用中值处理后的视差值计算前方车辆的距离。具体步骤如下：

第一步：初始化。令前一帧测量距离Distance⁰＝0，帧指针i＝1。

第二步：输入第i帧左、右目图像。

第三步：对第i帧右目图像设定车道线ROI。设图像的高度为H，车道线ROI高度选取系数为r₁、r₂，车道线ROI纵向范围y选取如下：

r₁H≤y≤r₂H (1)

其效果如图2(a)所示，两条横向细黑平行线之间为车道线ROI。高度选取系数r₁、r₂可根据双目视觉设备的安装高度加以选择，一般可取r₁＝0.60，r₂＝0.81。

第四步：在右目车道线ROI内检测车道线。在车道线ROI内，采用曹建超等人提出的动态阈值单像素宽、单边缘车道线检测方法(Cao,Jian-Chao et al.Extraction ofsingle-pixel-width single edge using dynamic thresholding for lane detectionon structured road.The 2nd IEEE China Summit and International Conference onSignal and Information Processing,Xi’an,China,9-13July 2014；pp.460-464)检测出车道线。其效果如图2(b)所示，车道线ROI中间的两条粗黑斜线为识别的车道线。

第五步：设定右目图像的车辆ROI。首先延长两侧车道线，相交于点Q，获得三角形区域；然后以车道线交点Q为起点，左右平移M个像素、向上平移N个像素，得到左顶点Q₁和右顶点Q₂。接着分别以Q₁、Q₂为端点做平行于车道线的两条直线，与车道线ROI底部相交于点Q₃、Q₄，如图2(c)所示，将以Q₁、Q₂、Q₃、Q₄为顶点构成的梯形区域设为当前车道信息保留区域，外围做掩码处理。最后，以Q₃、Q₄横坐标差为宽，Q₁、Q₄纵坐标差为高，设置右目图像的车辆ROI。其效果如图2(d)所示，黑色矩形框内为车辆ROI。一般而言，可取M＝30，N＝7。

第六步，车辆识别并确定右目图像的车辆区域。使用已训练好的Haar分类器进行车辆识别，若检测出车辆，则获取车辆区域左上角顶点坐标(x_s,y_s)，以及车辆区域的宽度w_r和高度h_r，计算得到右目车辆区域的中心坐标(x_o,y_o)，其中x_o＝x_s+w_r/2，y_o＝y_s+h_r/2，进入第七步；否则，将当前帧的距离Distanceⁱ设为0，舍弃当前帧，令i＝i+1，进入下一帧，转到第二步进行处理；

第七步：估计左目图像的车辆区域。设左目车辆区域中心为(x_l,y_l)，其中y_l＝y_o。

(1)如果Distance^i-1≠0，即前一帧图像中检测到车辆并获取距离，采用下面公式计算x_l：

式中f为摄像机焦距，B为基线长度，Distance^i-1为前一帧中前方车辆的距离。令左目车辆区域宽度w_l＝w_r，高度h_l＝h_r；

(2)如果Distance^i-1＝0，适于第一帧图像或前一帧未检测到车辆情况：

将右目车辆区域的中心位置映射到左目图像，即x_l＝x_o,y_l＝y_o，令h_l＝h_r，按比例横向对称扩大区域尺寸，如图3所示，得到左目车辆区域宽度如下：

w_l＝(1+2β)*w_r (3)

式中，β为扩大比例，一般取β＝10％。

第八步：特征点提取与匹配。本发明使用二进制算法ORB(Rublee,E.；Rabaud,V.；Konolige,K.；Bradski,G.ORB:an efficient alternative to SIFT or SURF.IEEEInternational Conference on Computer Vision(ICCV),Barcelona,Spain,6-13November 2011；pp.2564-2571)进行特征点提取与匹配。由于每对匹配的特征点满足极线约束条件y_L＝y_r，在kNN(k最近邻)搜索匹配时，只在同一纵坐标下搜索。通过计算，获得匹配的特征点对总数为K。

第九步：视差值计算。令第i帧左、右目图像所匹配的第k个特征点对的横坐标为求得视差值则所有匹配特征点对的视差值集合为D＝{d¹,d²,...,d^K}，按照从小到大顺序排列集合D中的视差值，获取集合D的中值D_mid，根据公式|D_i-D_mid|＜d_th，在中值D_mid附近选取一组平稳的视差值子集D^*＝{d^p,...,D_mid,...,d^q}，d^p、d^q分别为D^*的最小和最大视差值，再对D^*的所有视差值计算均值将其设定为前方车辆的视差值。d_th为视差值筛选阈值，一般可取d_th＝1。

第十步：根据三角测量原理，计算前方车辆距离Distanceⁱ，输出车辆区域与距离测量结果。其中距离计算公式如下：

第十一步：若未到达到最终帧，令i＝i+1，进入下一帧，转到第二步进行处理；否则，退出程序。

本发明的有益效果：本发明仅按照经典方法求取右目图像的车辆区域，利用双目视觉的成像特点和前一帧获取的距离信息，直接估计左目图像车辆区域，大大简化了左目图像的处理。此外，通过对所有匹配的特征点对视差值进行中值处理，进一步提高了测距精度。经实验对比，与经典对称方法相比，本发明方法测距速度平均可提升37.2％，测距误差平均可降低12.8％。

附图说明

图1是本发明测距方法框图。

图2是车辆ROI设定图示。(a)两条横向细黑平行线之间区域设定为车道线ROI区域；(b)车道线ROI中间的两条粗黑斜线为车道线检测结果；(c)Q₁、Q₂、Q₃与Q₄所包围的区域为车道信息保留区域；(d)黑色矩形框所包含的区域设定为车辆ROI。

图3是左目车辆区域估计图示。(a)左目车辆区域估计结果；(b)右目车辆区域。

具体实施方式

下面结合技术方案和附图，详细叙述本发明的一个具体实施例。

现有290帧双目图像序列，分辨率均为1242*375。采用本发明进行前方车辆检测与测距。

第一步：初始化。令前一帧测量距离Distance⁰＝0，帧指针i＝1。

第二步：输入第i帧左、右目图像。

第三步：对第i帧右目图像设定车道线ROI。根据实际成像高度，选取r₁＝0.60，r₂＝0.81，采用公式(1)计算出车道线ROI纵向范围y。其效果如图2(a)所示，两条横向细黑平行线之间为车道线ROI。

第四步：在右目车道线ROI内提取车道线。在车道线ROI内，采用曹建超等人提出的动态阈值单像素宽、单边缘车道线检测方法检测出车道线。车道线检测结果如图2(b)中的两条粗黑斜线所示。

第五步：设定右目图像的车辆ROI。延长车道线，相交于点Q，并以交点Q为起点，向左、右平移M＝30个像素，向上平移N＝7个像素，得到左顶点Q₁和右顶点Q₂。再以Q₁、Q₂为端点做平行于车道线的两条直线，与车道线ROI底部相交于点Q₃、Q₄，如图2(c)所示。以Q₁、Q₂、Q₃、Q₄为顶点构成的梯形区域设为当前车道信息保留区域，外围做掩码处理。最后，以Q₃、Q₄横坐标差为宽，Q₁、Q₄纵坐标差为高，构建右目图像的车辆ROI，如图2(d)所示。

第六步：车辆识别。使用已训练好的Haar分类器识别车辆，若检测出车辆，获取车辆区域左上角顶点坐标(x_s,y_s)，以及车辆区域的宽度w_r和高度h_r，计算得到右目车辆区域的中心坐标x_o＝x_s+w_r/2，y_o＝y_s+h_r/2，进入第七步；否则，令Distanceⁱ＝0，舍弃当前帧，令i＝i+1，转到第二步进行处理；

第七步：估计左目图像中车辆区域。设左目图像车辆区域的中心位置(x_l,y_l)，其中y_l＝y_o。

(1)如果Distance^i-1≠0，采用公式(2)计算x_l，同时令左目车辆区域宽度w_l＝w_r，高度h_l＝h_r；

(2)如果Distance^i-1＝0，将右目车辆区域的中心位置映射到左目图像，即x_l＝x_o,y_l＝y_o，令车辆区域高度h_l＝h_r，并根据公式(3)获得车辆区域宽度w_l，其中β＝10％。

第八步：特征点提取与匹配。使用ORB提取特征点，在极线约束条件y_L＝y_r下，对每个特征点，使用kNN搜索最佳匹配点。

第九步：视差值计算。对所有匹配的特征点对求取视差值，将其结果按照从小到大顺序排列，获取视差值集合中值D_mid，根据公式|D_i-D_mid|＜d_th，选取中值附近的平稳视差数据子集D^*，其中筛选阈值d_th＝1，并求取D^*中视差均值作为前方车辆的视差值。

第十步：根据公式(4)计算出前方车辆的距离Distanceⁱ，输出车辆区域与距离测量结果。

第十一步：若未到达到最终帧290，令i＝i+1，进入下一帧，转到第二步进行处理；否则，退出程序。

Claims (2)

1.一种基于窄基线双目视觉的前方车辆快速测距方法，其特征在于以下步骤：

第一步：初始化；令前一帧测量距离Distance⁰＝0，帧指针i＝1；

第二步：输入第i帧左、右目图像；

第三步：对第i帧右目图像设定车道线ROI；设图像的高度为H，车道线ROI高度选取系数为r₁、r₂，高度选取系数r₁、r₂根据双目视觉设备的安装高度加以选择，车道线ROI的纵向范围y选取如下：

r₁H≤y≤r₂H (1)

第四步：在右目车道线ROI内检测车道线；在车道线ROI内，采用动态阈值单像素宽、单边缘车道线检测方法检测出车道线；

第五步：设定右目图像的车辆ROI；首先延长两侧车道线，相交于点Q，获得三角形区域；然后以车道线交点Q为起点，左右平移M个像素、向上平移N个像素，得到左顶点Q₁和右顶点Q₂；接着分别以Q₁、Q₂为端点做平行于车道线的两条直线，与车道线ROI底部相交于点Q₃、Q₄，将以Q₁、Q₂、Q₃、Q₄为顶点构成的梯形区域设为当前车道信息保留区域，外围做掩码处理；最后，以Q₃、Q₄横坐标差为宽，Q₁、Q₄纵坐标差为高，设置右目图像的车辆ROI；

第六步，车辆识别并确定右目图像的车辆区域；使用已训练好的Haar分类器进行车辆识别，若检测出车辆，则获取车辆区域左上角顶点坐标(x_s,y_s)，以及车辆区域的宽度w_r和高度h_r，计算得到右目车辆区域的中心坐标(x_o,y_o)，其中x_o＝x_s+w_r/2，y_o＝y_s+h_r/2，进入第七步；否则，将当前帧的距离Distanceⁱ设为0，舍弃当前帧，令i＝i+1，进入下一帧，转到第二步进行处理；

第七步：估计左目图像的车辆区域；设左目车辆区域中心为(x_l,y_l)，其中y_l＝y_o；

(1)当Distance^i-1≠0时，即前一帧图像中检测到车辆并获取距离，采用下面公式计算x_l：

式中f为摄像机焦距，B为基线长度，Distance^i-1为前一帧中前方车辆的距离；令左目车辆区域宽度w_l＝w_r，高度h_l＝h_r；

(2)当Distance^i-1＝0时，适于第一帧图像或前一帧未检测到车辆的情况：

将右目车辆区域的中心位置映射到左目图像，即x_l＝x_o,y_l＝y_o，令h_l＝h_r，按比例横向对称扩大区域尺寸，得到左目车辆区域宽度如下：

w_l＝(1+2β)*w_r (3)

式中，β为扩大比例；

第八步：特征点提取与匹配；使用二进制算法ORB进行特征点提取与匹配；由于每对匹配的特征点满足极线约束条件y_L＝y_r，在kNN搜索匹配时，只在同一纵坐标下搜索；通过计算，获得匹配的特征点对总数为K；

第九步：视差值计算；令第i帧左、右目图像所匹配的第k个特征点对的横坐标为求得视差值则所有匹配特征点对的视差值集合为D＝{d¹,d²,...,d^K}，按照从小到大顺序排列集合D中的视差值，获取集合D的中值D_mid，根据公式|D_i-D_mid|＜d_th，在中值D_mid附近选取一组平稳的视差值子集D^*＝{d^p,...,D_mid,...,d^q}，d^p、d^q分别为D^*的最小和最大视差值，再对D^*的所有视差值计算均值将其设定为前方车辆的视差值；d_th为视差值筛选阈值；

第十步：根据三角测量原理，计算前方车辆距离Distanceⁱ，输出车辆区域与距离测量结果；其中距离计算公式如下：

第十一步：若未到达到最终帧，令i＝i+1，进入下一帧，转到第二步进行处理；否则，退出程序。

2.根据权利要求1所述的一种基于窄基线双目视觉的前方车辆快速测距方法，其特征在于，高度选取系数取r₁＝0.60，r₂＝0.81；左右平移像素数取M＝30，向上平移像素数取N＝7；左目图像车辆区域的横向对称扩大比例取β＝10％；视差值筛选阈值d_th取d_th＝1。