CN102829763B - 基于单目视觉定位的路面图像采集方法及采集系统 - Google Patents

Abstract

本发明公开了一种基于单目视觉定位的路面图像采集方法及采集系统，该方法包括以下步骤：首先，架设数据采集系统；然后采集数据，获取的所有路面图像构成路面图像序列；使用图像逆透视映射算法，将获取的所有路面图像变换为路面正俯视图；根据各路面正俯视图像之间相对位置关系提取关键帧图像，并按顺序层叠摆放图像，经拼接处理后采集到路段的整幅路面图像。本发明的路面图像采集系统包括一可移动式车辆，其上架设有相机，相机光轴向下倾斜且镜头朝向路面，相机光轴在地面的投影与可移动式车辆纵向中轴线相互垂直；相机的竖向支架上通过纵向连杆固接单目视觉定位系统。本发明具有操作简单、设备安装及使用方便、路面图像拼接速度快且精度较高等优点。

Description

基于单目视觉定位的路面图像采集方法及采集系统

技术领域

本发明涉及一种图像采集方法及采集系统，尤其涉及一种基于单目视觉定位的图像采集方法及采集系统。

背景技术

在许多实际应用场合下需要对路面图像实施快速准确拼接，如自动泊车系统对车辆周围路面环境信息的获取、道路病害勘测等等。目前常用的图像拼接方法速度慢、拼接出的图像容易因误差累计效应而出现较大失真。有关图像拼接方法的具体介绍可参见文献“Imageregistration methods:a survey”（作者：Barbara Zitova,Jan Flusser，期刊：Image and VisionComputing，2003年，21卷）。有关路面图像拼接方法的具体应用参见文献“基于逆透视投影变换的图像拼接方法”（作者：袁启平，宋金泽，吴涛；微计算机信息，2010年）。

发明内容

本发明要解决的技术问题是克服现有技术的不足，提供一种操作简单、设备安装及使用方便、路面图像拼接速度快且精度较高的基于单目视觉定位的路面图像采集方法，还相应提供一种结构简单、安装方便、成本小的基于单目视觉定位的路面图像采集系统。

为解决上述技术问题，本发明提出的技术方案为一种基于单目视觉定位的路面图像采集方法，包括以下步骤：

（1）架设数据采集系统：在一可移动式车辆上架设相机，使相机光轴向下倾斜且镜头朝向路面，所述相机的光轴在地面的投影与所述车辆的纵向中轴线相互垂直；所述相机的支架上通过一纵向连杆固接一单目视觉定位系统（定位系统位于相机的前、后方均可，该纵向连杆大致与车辆中轴线平行即可，但不必完全平行），所述单目视觉定位系统与相机之间的水平距离设为d（所述单目视觉定位系统与相机可以不在同一高度的水平面上，但二者的高度建议相同，这样能够更方便后续的运算及数据处理）；

（2）采集数据：启动车辆并使其沿着拟拍摄路段行驶，行驶期间所述单目视觉定位系统与相机同步同频率采集路面信息数据；设单目视觉定位系统在行驶期间共完成n次定位，每次定位所对应的时刻为T_i，i＝1,2,…,n，则所有时刻T_i组成单目视觉定位时刻序列T₁,T₂,…,T_n；设某次定位时刻T_i对应获取的车辆航向角为θ_i（组成车辆航向角序列θ₁,θ₂,…θ_n），某次定位时刻T_i对应获取的单目视觉定位系统在路面投影点的位置为P_i，则单目视觉定位系统在路面所有的投影点位置组成单目视觉定位系统投影点位置序列P₁,P₂,…,P_n；设某次定位时刻T_i时相机光轴在路面的投影线的方向角为（组成相机光轴在路面的投影线方向角序列），相机在路面的投影点位置为Q_i，则相机在路面的所有投影点位置组成相机投影点位置序列Q₁,Q₂,…,Q_n；设P_i在世界坐标系下的坐标为相机在世界坐标系下的坐标为则二者之间存在以下关系：

在行驶期间，设某次定位时刻T_i时相机获取的路面图像为L_i，i＝1,2,...n，则相机在车辆行驶期间获取的所有路面图像构成路面图像序列L₁,L₂，...L_n；

（3）路面图像变换：使用常规的图像逆透视映射算法（将具有透视形变的原始路面图像根据相机成像模型校正为正俯视图），将步骤（2）中获取的所有路面图像L_i，i＝1,2，...n，变换为路面正俯视图；选择路面上逆透视映射范围时，近处以相机在路面的投影点位置Q_i为起点；

（4）提取关键帧图像进行拼接处理：根据经步骤（3）变换后的各路面正俯视图像之间相对位置关系提取关键帧图像（所谓关键帧图像就是对待拼接的原始图像序列经筛除冗余后留下的关键图像，其提取原则是：根据相邻原始图像间的重叠率，将重叠较高的原始图像删除，在不损失图像拼接信息量的前提下，只保留那些重叠率最低的原始图像，即关键帧图像），并按顺序层叠摆放图像，经拼接处理后得到拟拍摄路段的整幅路面图像。

作为对上述的基于单目视觉定位的路面图像采集方法的进一步改进，所述步骤（4）中，拼接处理时不对层叠摆放图像的重叠区域实施图像融合处理，在层叠摆放图像的重叠处使用后一张路面图像的像素值直接覆盖前一张路面图像像素值。

作为一个总的技术构思，本发明还提供一种基于单目视觉定位的路面图像采集系统，所述路面图像采集系统包括一可移动式车辆，所述可移动式车辆上架设有相机，相机光轴向下倾斜且镜头朝向路面，所述相机的光轴在地面的投影与所述可移动式车辆的纵向中轴线相互垂直；所述相机的竖向支架上通过一纵向连杆固接一单目视觉定位系统。

上述的基于单目视觉定位的路面图像采集系统，所述相机优选架设于可移动式车辆的中轴线上。

上述的基于单目视觉定位的路面图像采集系统，所述相机架数量可以为一个或多个，优选为两个，此时两个相机的镜头分别朝向可移动式车辆的两侧，这样能够保证具有更大的路面图像采集范围。

上述的基于单目视觉定位的路面图像采集系统，所述单目视觉定位系统优选与相机位于同一高度的水平面上。

上述本发明的技术方案可以非常有效地提高拼图速度，其原因主要基于以下几点：

（1）基于道面图像采集相机和单目视觉定位系统相固连的前提，直接利用单目视觉定位结果进行图像全局配准，跳过图像特征提取以及变换模型估计两个耗时步骤，提高了拼图速度；

（2）采用提取关键帧策略，筛除冗余的路面图像，提升了拼图的时效性；

（3）对全局配准后的图像采用直接覆盖叠加的方式实现图像拼接，省去了耗时严重的传统图像融合过程，提高了图像拼接速度的同时保证了全局图的清晰度。

上述本发明的技术方案还可以非常有效地提高拼图精度。现有拼图方法所使用的图像变换模型为透视模型，这虽然使得相邻图像的边缘过渡平滑、配准度高，但是累积误差的影响会使整体的路面全局图失真较大，若假定图像间只存在旋转、平移和缩放关系，并建立图像的估计模型为相似变换模型，则可通过忽略相邻图像的透视形变来削弱图像配准的误差累积效应。由于本发明采用的单目视觉定位算法使用相似变换模型估计图像间的映射关系，采用误差分散的思想在一定程度上削弱了图像拼接的误差累积效应，使用相似变换模型代替广泛使用的透视模型，以图像局部失配为代价降低图像全局配准误差，提高了图像拼接精度，从而获得较理想的全局图效果。

与现有技术相比，本发明的优点在于：

1.本发明的采集方法能够实现对路面图像的快速拼接处理；

2.本发明的采集方法对路面图像拼接的精度高，不会由于误差累计效应而产生较大失真；

3.本发明的采集方法是基于简单的运算处理方法，而且整套采集设备简单，使用安装方便，便于携带和使用。

附图说明

图1为本发明采集方法的工艺流程图。

图2为本发明采集方法中采集图像数据的原理示意图；其中，（a）图为采集图像数据过程中某一时刻的透视图，（b）图为采集图像数据过程的俯视图。

图3为本发明采集方法中相机在路面投影位置计算原理示意图；图3中X和Y坐标轴构成世界坐标系；相机C1的路面投影点在世界坐标系下的坐标为i=1,2,...n，其中n为单目视觉定位系统完成的定位次数；定位系统C2在路面投影点在世界坐标系下的坐标为

图4为本发明采集方法中提取关键帧实施图像拼接的原理示意图；其中，（a）图为提取关键帧前的图像拼接效果，（b）图为提取关键帧后的图像拼接效果；数字代表图像序号。

图5为本发明实施例中最后采集获得的路面图像快速拼接结果。

具体实施方式

以下结合说明书附图和具体实施例对本发明作进一步描述。

实施例：

如图1所示，一种本发明的基于单目视觉定位的路面图像采集方法，包括以下步骤：

1.架设数据采集系统：如图2和图3所示，在一轮式勘测车上架设用于拍摄路面图像的相机C1（为简洁起见，车辆另一侧的相机没有在图2中画出），使相机C1光轴向下倾斜且镜头朝向路面，相机C1的光轴在地面的投影与勘测车的纵向中轴线相互垂直；相机C1的支架上通过一纵向连杆（刚性臂）固接一单目视觉定位系统C2，单目视觉定位系统C2采用正俯视拍摄方式获取路面图像用于车辆的定位。单目视觉定位系统C2与相机C1位于高度基本接近的平面上，且两者之间的水平距离（即纵向连杆的长度）设为d（参见图3）。本实施例中选用的单目视觉定位系统C2是以CN102221358A号中国专利文献中公开的单目视觉定位方法和定位系统为基础（该发明专利申请的申请号为201110070941.9），有关本实施例单目视觉定位的技术内容可参见该发明专利申请，但本发明采用的单目视觉定位技术不限于此，能够实现本发明定位目的的其他定位系统均可等同适用。

2.采集数据：启动车辆并使其沿着拟拍摄路段行驶，行驶期间单目视觉定位系统与相机同步同频率采集路面信息数据；设单目视觉定位系统在行驶期间共完成n次定位（n也可作为后续拍摄获取图像的序号），每次定位所对应的时刻为T_i，i＝1,2,…,n，则所有时刻T_i组成单目视觉定位时刻序列T₁,T₂,…,T_n；设某次定位时刻T_i对应获取的车辆航向角为θ_i（组成车辆航向角序列θ₁,θ₂,…θ_n），某次定位时刻T_i对应获取的单目视觉定位系统在路面投影点的位置为P_i，则单目视觉定位系统在路面所有的投影点位置组成单目视觉定位系统投影点位置序列P₁,P₂,…,P_n；设某次定位时刻T_i时相机光轴在路面的投影线的方向角为（组成相机光轴在路面的投影线方向角序列），相机在路面的投影点位置为Q_i，则相机在路面的所有投影点位置组成相机投影点位置序列Q₁,Q₂,…,Q_n；设P_i在世界坐标系下的坐标为相机C1在世界坐标系下的坐标为则二者之间存在以下关系（计算原理可参见图3）：

在行驶期间，设某次定位时刻T_i时相机获取的路面图像为L_i，i＝1,2,...n，则相机在车辆行驶期间获取的所有路面图像构成路面图像序列L₁,L₂,...L_n；一旦相机C1在拍摄第n帧图像时的位置坐标P_n和方向角确定，则第n帧逆透视映射（IPM，inverse perspective mapping，表示逆透视映射）后图像的位置和方向也可随即确定。

3.路面图像变换：使用图像逆透视映射算法，将步骤2中获取的所有路面图像L_i，i＝1,2,...n，变换为路面正俯视图；选择路面上逆透视映射范围时，近处以相机在路面的投影点位置Q_i为起点；本步骤中有关逆透视映射算法原理和路面正俯视图的变换方法可详见非专利文献“动态图像逆透视映射方法在路面图像拼接中的应用”（作者：曹毓，冯莹，魏立安等；《传感技术学报》2011年第12期）以及非专利文献“基于逆透视投影变换的图像拼接方法”（作者：袁启平，宋金泽，吴涛；《微计算机信息》2010年）。

4.提取关键帧图像进行拼接处理：图像拼接的前提是相邻图像有重叠区域。为保证该前提条件，勘测车以较快的速度行驶时相机的帧频应较高（本实施例中勘测车行驶速度12km/h，相机帧频6帧/秒），这样会导致当勘测车因避障等原因而减速时采集的图像出现冗余，影响图像拼接的时效性。由于步骤2中已获得了相邻图像间的位置关系，结合每幅图像的视场范围可判断出图像的重叠率。在保证路面信息不丢失的前提下，可根据图像间的重叠关系，从包含冗余的图像序列中提取出关键帧用于图像拼接，其原理如图4所示，由图4可见，本实施例中的第2、4、6帧图像即使不参与拼接也基本不会损失路面信息，但却能显著提高拼接速度。

将步骤2中获取的所有图像的位置信息变换到同一坐标系下后，则可实现图像序列L₁,L₂,...L_n的全局配准，经融合处理后即可得到路面全局图，具体操作时，先根据经步骤3变换后的各路面正俯视图像之间相对位置关系提取关键帧图像，并按顺序层叠摆放图像，经拼接处理后得到拟拍摄路段的整幅路面图像。本步骤中有关图像融合原理可详见非专利文献“像素级多分辨图像融合技术概述”（作者：晁锐，张科，李言俊；《系统工程与电子技术》2004年第1期）。鉴于在本实施例中特定应用条件下，应用传统的图像融合方法可能达不到最佳效果，本实施例中采用了像素直接叠加覆盖的方式实现图像融合，即：首先依据解算出的相对位置关系，将后一张图像叠加到前一张图像上，若后一张图像中对应区域不包含路面信息，则该区域像素将自动舍弃，否则直接覆盖前幅图像；依此类推直到处理完所有图像，最终得到路面全局图。该优化后的图像融合方法实施简单、处理速度快，虽然可能导致全局图中存在接缝，但与传统方法相比，图像融合后的目标更加清晰，易于观察和辨认。

本实施例中定量验证了本发明采集方法及采集系统对路面图像拼接的速度，且定性验证了图像拼接精度。本实施例中使用的计算机主要配置为：CPU为Intel Core2 Duo Processor2.8GHz，使用4GB DDR2双通道内存。图5则给出了本实施例中获得的路面图像快速拼接结果。在此条件下图像拼接共耗时约85s；其中基于单目视觉定位算法的图像相对位置关系解算耗时约65s，图像层叠摆放及图像融合共耗时约20s。

需要特别指出的是，传统图像拼接方法的效果验证工作我们在实验中同样实施了，使用现有成熟的商业拼图软件serif，对上述同样数量的图像实施拼接，在人为筛除其中一部分失真较大的图像的前提下，其拼图耗时在30min以上，而且获得的拼图结果效果非常差。

上述实施例中用到了本发明的基于单目视觉定位的路面图像采集系统，该路面图像采集系统包括一勘测车，该勘测车的中轴线上架设有用于拍摄路面图像的相机C1，相机C1数量为两个（为简洁起见，车辆另一侧的相机没有在图2中画出），两个相机的镜头分别朝向车辆的两侧，相机C1光轴向下倾斜且镜头朝向路面，相机C1的光轴在地面的投影与勘测车的纵向中轴线相互垂直；相机C1的竖向支架上通过一纵向连杆固接一单目视觉定位系统C2。

上述的基于单目视觉定位的路面图像采集系统，单目视觉定位系统C2与相机C1基本位于同一高度的水平面上。

Claims (2)

1.一种基于单目视觉定位的路面图像采集方法，包括以下步骤：

(1)架设数据采集系统：在一可移动式车辆上架设相机，使相机光轴向下倾斜且镜头朝向路面，所述相机的光轴在地面的投影与所述车辆的纵向中轴线相互垂直；所述相机的支架上通过一纵向连杆固接一单目视觉定位系统，所述单目视觉定位系统与相机之间的水平距离设为d；

(2)采集数据：启动车辆并使其沿着拟拍摄路段行驶，行驶期间所述单目视觉定位系统与相机同步同频率采集路面信息数据；设单目视觉定位系统在行驶期间共完成n次定位，每次定位所对应的时刻为T_i，i＝1,2,…,n，则所有时刻T_i组成单目视觉定位时刻序列T₁,T₂,…,T_n；设某次定位时刻T_i对应获取的车辆航向角为θ_i，某次定位时刻T_i对应获取的单目视觉定位系统在路面投影点的位置为P_i，则单目视觉定位系统在路面所有的投影点位置组成单目视觉定位系统投影点位置序列P₁,P₂,…,P_n；设某次定位时刻T_i时相机光轴在路面的投影线的方向角为相机在路面的投影点位置为Q_i，则相机在路面的所有投影点位置组成相机投影点位置序列Q₁,Q₂,…,Q_n；设P_i在世界坐标系下的坐标为(X_i ^C,Y_i ^C)，相机在世界坐标系下的坐标为(X_i ^S,Y_i ^S)，则二者之间存在以下关系：

在行驶期间，设某次定位时刻T_i时相机获取的路面图像为L_i，i＝1,2,...n，则相机在车辆行驶期间获取的所有路面图像构成路面图像序列L₁,L₂,...L_n；

(3)路面图像变换：使用图像逆透视映射算法，将步骤(2)中获取的所有路面图像L_i，i＝1,2,...n，变换为路面正俯视图；选择路面上逆透视映射范围时，近处以相机在路面的投影点位置Q_i为起点；

(4)提取关键帧图像进行拼接处理：根据经步骤(3)变换后的各路面正俯视图像之间相对位置关系提取关键帧图像，并按顺序层叠摆放图像，经拼接处理后采集到拟拍摄路段的整幅路面图像。

2.根据权利要求1所述的基于单目视觉定位的路面图像采集方法，其特征在于：所述步骤(4)中，拼接处理时不对层叠摆放图像的重叠区域实施图像融合处理，在层叠摆放图像的重叠处使用后一张路面图像的像素值直接覆盖前一张路面图像像素值。