CN112149493B

CN112149493B - 基于双目立体视觉的道路高程测量方法

Info

Publication number: CN112149493B
Application number: CN202010756671.6A
Authority: CN
Inventors: 张瑞豪; 陈晓明; 冯永慧
Original assignee: University of Shanghai for Science and Technology
Current assignee: University of Shanghai for Science and Technology
Priority date: 2020-07-31
Filing date: 2020-07-31
Publication date: 2022-10-11
Anticipated expiration: 2040-07-31
Also published as: CN112149493A

Abstract

本发明公开了一种基于双目立体视觉的道路高程测量方法，属于智能汽车辅助驾驶技术领域。该方法包括：使用安装在车辆上的双目立体相机获取车辆前方道路场景的左右视图；获取道路在V视差图中的直线特征，并得到直线参数；根据道路在V视差图中的直线特征对双目立体相机捕获的两幅图像之一进行伪透视变换；对伪透视变换后的图像和另一未经伪透视变换的原始图像进行立体匹配得到亚像素精度的视差图；根据获取的亚像素精度视差图计算道路高程图，高程图中的每一个元素记录了相应的高程值。本发明可以感知前方道路高度变化情况，与主动悬架结合，可以提高车辆的乘坐舒适性和安全性。

Description

基于双目立体视觉的道路高程测量方法

技术领域

本发明涉及智能汽车辅助驾驶技术，特别是一种基于双目立体视觉的道路高程测量方法。

背景技术

道路环境感知是智能车辆的一项重要应用，是自动驾驶的基础。双目立体相机是一种重要的用于智能汽车的环境感知的传感器。双目立体视觉不仅能够提供颜色信息还能通过左右图像的立体匹配获取深度信息。它能够以低廉的成本提供丰富的信息。

目前双目立体视觉主要用于辅助驾驶中的目标检测、可行使区域检测、车道检测等。在这些应用中通常将道路视为理想的光滑平面，道路的不平整如路面凸起和凹坑被视为噪声而忽略。但是路面的不平整是引起车辆振动的主要原因。而且，传统的立体视觉系统在处理道路平面时匹配往往精度欠佳，这严重限制了立体视觉在道路高程检测中的应用。

若能够通过双目立体视觉获取智能车辆前方的道路高程信息，并反馈给车辆悬架的控制系统，就可以有效的降低因道路缺陷引起的车辆振动，进而提高车辆的乘坐舒适性和安全性。专利号为CN1099019139A的名为基于双目立体视觉的路面状况快速检测方法的专利，就介绍了类似的通过计算道路高程来判断道路的不平整性。但是该方法的模型比较简单，在实际使用过程中往往不能满足模型的假设，因此其实用性被限制。

发明内容

鉴于以上问题，本发明提供一种实现上述目标的基于双目立体视觉的道路高程测量的方法。

一种基于双目立体视觉的道路高程测量方法，用于采集车辆前方道路影像的双目立体相机需要水平放置，双目立体相机由中央处理器控制，所述的方法包括以下步骤：

(1)、利用安装在车辆上的双目立体相机，获取车辆前方道路场景的左右视图；

(2)、利用道路场景的左右视图，获取道路在V视差图中的直线特征，并得到直线参数；

(3)、根据道路在V视差图中的直线特征，对双目立体相机捕获的两幅图像之一进行伪透视变换；

(4)、对进行伪透视变换后的图像和双目立体相机捕获的另一未经伪透视变换的图像进行立体匹配，得到亚像素精度的视差图；

(5)、根据获取的亚像素精度视差图，计算所述的道路高程图。

优选地，步骤(2)中的获取道路在V视差图中的直线特征的步骤包括：

(2-1)对所述双目立体相机获取的道路图像进行特征检测并匹配，得到匹配点对的集合；

(2-2)对上述得到的匹配点对的集合中任意匹配点对，如果匹配点的纵坐标之差大于“1”，或者匹配点对中有一个特征点处于图像上半区域，则把该匹配点对从上述得到的匹配点对的集合中剔除，进而得到经过筛选后的匹配点对的集合；

(2-3)对上述得到的经过筛选后的匹配点集合，计算特征点对的横坐标之差作为新的像素点的横坐标，计算特征点对纵坐标的平均值作为新的像素点的纵坐标，把新的像素点绘制在V视差图中；

(2-4)对上述绘制的V视差图中的像素点进行RANSAC直线拟合，得到所述的道路在V视差图中的直线特征，需要得到的参数包括：V视差图中所拟合得到的直线上的视差(横轴)相对行索引(纵轴)的变化率和所拟合的直线与V视差图中的视差轴的截距。

优选地，根据所述的道路在V视差图中的直线特征对所述双目立体相机捕获的两幅图像之一进行伪透视变换具体过程为：对所述的要进行伪透视变换的图像中的每一行根据所述的道路在V视差图中的直线在该行的视差值进行平移变换，伪透视变换的效果为伪透视变换后的图像中的道路部分与另一幅未进行透视变换的图像的道路重合。

优选地，步骤(5)中的根据获取的亚像素精度视差图计算道路高程图的步骤包括：

(5-1)根据所述的获取的道路在V视差图中的直线特征的参数，斜率k和截距c以及所述双目立体相机的主点纵坐标v₀、相机的焦距f，估计立体相机相对道路平面的俯仰角度θ＝arctan[(kv₀+c)/kf]；

(5-2)根据所述的双目立体相机的基线长度b，估计立体相机相对道路平面的高度h＝cosθ·b/k；

(5-3)根据所述的获得的亚像素精度视差图D(u,v)，计算高程图H(u,v)＝h·D(u,v)/[kv+c+D(u,v)]。其中u和v是图像的行索引和列索引，其它参数通过前述步骤求得。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：

1.本发明能够获取驾驶场景下道路相对参考平面的高程信息，进而感知智能汽车前方道路高程的变化；伪透视变换增加了道路部分的相似性，对于局部立体匹配算法来说，伪透视变换可以显著提高局部立体匹配算法的匹配精度，进一步地，提高道路高程计算精度；

2.道路高程信息可以服务于车辆的主动悬架的控制，车辆根据获取的高程信息自主地调整悬架的参数，进而达到提高行驶平顺性的目的，此外，还根据高程划分道路行驶区域和障碍物，进而驾驶的安全性。

上述说明仅是本发明技术方案的概述，为了能够更清楚地了解本发明所涉及的技术，让本发明的上述目的、过程、优点更加清晰易懂，以下为本发明的具体实施方式。

附图说明

附图仅用于展示优选的实施方式，并未对本发明进行限制：

图1为本发明实施例基于双目立体视觉的道路高程测量方法的立体相机安装示意图。

图2为本发明实施例基于双目立体视觉的道路高程测量方法的算法流程图。

图3为本发明实施例基于双目立体视觉的道路高程测量方法中的计算道路在V视差图中的直线特征的示意图。

图4为本发明实施例基于双目立体视觉的道路高程测量方法中的伪透视变换的示意图。

具体实施方式

为了让本发明的上述目的、技术方案、优点更加清晰易懂，以下结合附图和优选实施例对本发明的实施方式进行详细阐述，具体实施方式案例只是为了方便本发明理解公开，并未限制本发明的保护范围。

实施例一：

参见图1-图4，一种基于双目立体视觉的道路高程测量方法，操作步骤如下：

(1)利用安装在车辆上的双目立体相机，获取车辆前方道路场景的左右视图；

(2)利用道路场景的左右视图，获取道路在V视差图中的直线特征，并得到直线参数；

(3)根据道路在V视差图中的直线特征，对双目立体相机捕获的两幅图像之一进行伪透视变换；

(4)对经伪透视变换后的图像和双目立体相机捕获的另一未经伪透视变换的图像进行立体匹配，得到亚像素精度的视差图；

(5)根据获取的亚像素精度视差图，计算所述的道路高程图。

实施例二：

本实施例与实施例一基本相同，特别之处如下：

所述步骤(2)中的获取道路在V视差图中的直线特征的步骤包括以下具体操作步骤：

(2-1)对双目立体相机获取的道路图像进行特征点检测并匹配，得到匹配点对的集合；

在本实施例中，所述步骤(3)中的根据所述的道路在V视差图中的直线特征对所述双目立体相机捕获的两幅图像之一进行伪透视变换具体过程为：

对所述的要进行伪透视变换的图像中的每一行根据所述的道路在V视差图中的直线在该行的视差值进行平移变换，伪透视变换的效果为伪透视变换后的图像中的道路部分与另一幅未进行透视变换的图像的道路重合。

在本实施例中，所述步骤(5)中的根据获取的亚像素精度视差图计算道路高程图的步骤包括：

实施例三：

本实施例与上述实施例基本相同，特别之处如下：

图1是本实施例的双目立体相机的安装示意图，其中要求双目立体相机横向水平放置，对俯仰角不做严格要求，但应按照实际应用场景的需求进行安装；图2是本实施例基于双目立体视觉的道路高程测量的流程示意图；如图2所示，本实施例方法一般包括步骤S101-S105：

步骤S101，使用安装在车辆上的双目立体相机获取车辆前方道路场景的左右视图；

步骤S102，获取道路在V视差图中的直线特征，并得到直线的参数，图3展示了道路在V视差图中的直线特征构建过程，具体过程为：

对所述双目立体相机获取的道路图像进行特征点检测并进行特征点匹配，得到匹配点对的集合；

对上述得到的匹配点对的集合中任意匹配点对，如果匹配点的纵坐标之差大于“1”，或者匹配点对中有一个特征点处于图像上半区域，则把该匹配点对从上述得到的匹配点对的集合中剔除，进而得到最终的经过筛选后的匹配点对的集合；

对上述得到的最终的经过筛选后的匹配点集合，计算特征点对的横坐标之差作为新的像素点的横坐标，计算特征点对纵坐标的平均值作为新的像素点的纵坐标，把新的像素点绘制在V视差图中；

对上述绘制的V视差图中的像素点进行RANSAC直线拟合，得到所述的道路在V视差图中的直线特征，进一步获得该直线的参数，包括：直线上的视差(横轴)相对行索引(纵轴)的变化率和直线与V视差图中的视差轴(横轴)的截距；

步骤S103，根据道路在V视差图中的直线特征，对双目立体相机捕获的两幅图像之一进行伪透视变换，图4展示了伪透视变换的过程及效果：

对所述的要进行伪透视变换的图像中的每一行根据所述的道路在V视差图中的直线在该行的视差值进行平移变换，伪透视变换的效果为经过伪透视变换后的图像中的道路部分变得另一幅未进行透视变换的图像的道路一致而重合，伪透视变换后的图像中处于道路之上的物体与未经伪透视变换的图像上对应的物体相分离，分离程度与物体距地面的高度相关，体现在视差上就是物体距离路面越高，视差越大；

步骤S104，对伪透视变换后的图像和双目立体相机捕获的另一未经伪透视变换的图像进行立体匹配并获取亚像素精度的视差图；

步骤S105，根据所述的获取的亚像素精度视差图计算道路高程图，具体计算过程为：

根据所述的获取的道路在V视差图中的直线特征的参数，斜率k和截距c以及双目立体相机的主点纵坐标v₀、相机的焦距f，估计立体相机相对道路平面的俯仰角度θ＝arctan[(kv₀+c)/kf]；

根据双目立体相机的基线长度b，估计立体相机相对道路平面的高度h＝cosθ·b/k；

根据获得的亚像素精度视差图D(u,v)，对视差图中的每一个元素，根据其所处的图像位置的纵坐标和视差值，计算其对应的高程值，从而组成高程图H(u,v)＝h·D(u,v)/[kv+c+D(u,v)]。其中u和v是图像的行索引和列索引，其它参数通过前述步骤求得。

综合上述实施例可知，本发明基于双目立体视觉的道路高程测量方法，属于智能汽车辅助驾驶技术领域。该方法包括：使用安装在车辆上的双目立体相机获取车辆前方道路场景的左右视图；获取道路在V视差图中的直线特征，并得到直线参数；根据道路在V视差图中的直线特征对双目立体相机捕获的两幅图像之一进行伪透视变换；对伪透视变换后的图像和另一未经伪透视变换的原始图像进行立体匹配得到亚像素精度的视差图；根据获取的亚像素精度视差图计算道路高程图，高程图中的每一个元素记录了相应的高程值。本发明可以感知前方道路高度变化情况，与主动悬架结合，可以提高车辆的乘坐舒适性和安全性。

上面对本发明实施例结合附图进行了说明，但本发明不限于上述实施例，还可以根据本发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，只要不背离本发明的发明内容，都属于本发明的保护范围。

Claims

1.一种基于双目立体视觉的道路高程测量方法，其特征在于，操作步骤如下：

(5)根据获取的亚像素精度视差图，计算道路高程图。

2.根据权利要求1所述基于双目立体视觉的道路高程测量方法，其特征在于，所述步骤(2)中的获取道路在V视差图中的直线特征的步骤包括以下具体操作步骤：

(2-1)对所述双目立体相机获取的道路图像进行特征点检测并匹配，得到匹配点对的集合；

(2-4)对上述绘制的V视差图中的像素点进行RANSAC直线拟合，得到道路在V视差图中的直线特征，需要得到的参数包括：V视差图中所拟合得到的直线上的视差相对行索引的变化率和所拟合的直线与V视差图中的视差轴的截距。

3.根据权利要求1所述基于双目立体视觉的道路高程测量方法，其特征在于，所述步骤(3)中的根据道路在V视差图中的直线特征，对所述双目立体相机捕获的两幅图像之一进行伪透视变换的具体过程为：

对要进行伪透视变换的图像中的每一行根据道路在V视差图中的直线在该行的视差值进行平移变换，伪透视变换的效果为伪透视变换后的图像中的道路部分与另一幅未进行透视变换的图像的道路重合。

4.根据权利要求1所述基于双目立体视觉的道路高程测量方法，其特征在于，所述步骤(5)中的根据获取的亚像素精度视差图计算道路高程图的步骤包括：

(5-1)根据获取的道路在V视差图中的直线特征的参数，斜率k和截距c以及所述双目立体相机的主点纵坐标v₀、相机的焦距f，估计立体相机相对道路平面的俯仰角度θ＝arctan[(kv₀+c)/kf]；

(5-2)根据双目立体相机的基线长度b，估计立体相机相对道路平面的高度h＝cosθ·b/k；

(5-3)根据获得的亚像素精度视差图D(u,v)，计算高程图H(u,v)＝h·D(u,v)/[kv+c+D(u,v)]，其中u和v是图像的行索引和列索引。