CN112927303B - 一种基于车道线的自动驾驶车载相机位姿估计方法及系统 - Google Patents

Abstract

本发明提供一种基于车道线的自动驾驶车载相机位姿估计方法及系统，定义标定场景构建要求、数据采集方法和数据存储方法；对采集到的图像进行处理提取图像中的车道线内角点，并与测量记录的控制点坐标匹配；基于线性相机模型，求解相机相对于车体坐标系的旋转和平移参数。本发明提出改进的高斯自适应阈值法滤除车道线以外区域的干扰信息，准确提取车道线轮廓，基于每段车道线虚线实现图像坐标系下角点与车体坐标系下控制点坐标的匹配，求解相机相对于车体坐标系的旋转向量和平移矩阵。通过对车道线特点的利用，构建标定场地，使控制点测量简化，同时使控制点匹配更准确，实现相机相对于车体坐标系的外参估计。

Description

一种基于车道线的自动驾驶车载相机位姿估计方法及系统

技术领域

本发明涉及自动驾驶视觉感知技术领域，特别是涉及一种基于车道线的自动驾驶车载相机位姿估计方法及系统。

背景技术

自动驾驶车载相机是自动驾驶系统常用且非常重要的传感器，通过在自动驾驶车辆上安装前视相机，可采集前方行驶环境图像并进行计算分析，识别前方障碍物、车道线、红绿灯、交通标志牌等交通信息，这些感知信息是自动驾驶决策和规划模块进行车辆行驶规划的重要依据。对车载相机进行位姿估计，即计算相机相对于车体坐标系的旋转和平移，能够将相机坐标系下计算得到的障碍物、车道线等信息转换到车体坐标系下，视觉感知信息与车体坐标系转换一致，使视觉感知结果得到有效应用，同时准确的相机位姿估计也是视觉SLAM和多传感器融合的前提。

目前相机位姿估计方法包括基于控制点的方法和基于直线段的方法。基于控制点相机位姿估计方法的标定场景需确定4个以上控制点，基于线段的相机位姿估计方法的标定场景构建需确定3条以上线段，并且确定直线段之间的距离。与基于直线段的相机位姿估计方法相比，基于控制点的相机位姿估计方法的标定场景构建过程更加灵活。基于控制点的相机位姿估计方法包括EPnP、EPnP+GN、HOMO等，其中EPnP方法具备计算速度快、准确度高的优点。上述相机姿态估计方法都存在标定场景不易构建，标定输入参数(线段距离或控制点坐标)不易准确测量的问题，

发明内容

本发明旨在解决基于控制点相机位姿估计方法标定场景构建困难、控制点坐标不易测量导致的自动驾驶车载相机EPnP位姿估计方法难以实车应用的问题。特此提供一种基于车道线的自动驾驶车载相机位姿估计方法；

方法包括：

步骤一、定义标定场景构建要求、数据采集方法和数据存储方法；

步骤二、对采集到的图像进行处理提取图像中的车道线内角点，并与测量记录的控制点坐标匹配；

步骤三、基于线性相机模型，求解相机相对于车体坐标系的旋转和平移参数。

进一步需要说明的是，步骤一、定义标定场景构建要求中：标定场景构建选择地面平坦、车道线清晰、笔直虚线的道路作为标定场地，车辆停靠至车辆左侧与左侧车道线内边缘平齐、相接。

进一步需要说明的是，步骤一中：

车体坐标系原点为驱动轴的中心点在地面上的投影，坐标轴方向遵守右手定则，X轴方向前，Y轴方向向左，Z轴方向向上，标记驱动轴在地面上的投影直线与平齐一侧车道线的交点P_o，测量P_o与左车道线内侧角点P_i之间的距离P_oP_i，记录每个角点在车体坐标系下的坐标值为(P_oP_i，W/2，0)所记录角点称为控制点；

将记控制点按P_oP_i升序排列存储；

相机安装于车辆正前方，所采图像包含前方道路部分，采集图像尺寸大小为(w，h)。

进一步需要说明的是，步骤二中：

提取感兴趣图像区域，对图像进行去噪，再对图像进行二值化处理；

将图像转为单通道灰度图，感兴趣图像区域左上角选为(w/4，h/2，右下角选为(w/2,h)，图像去噪方法采用双边滤波方法，在保留车道线边缘的同时对其他区域进行平滑去噪，滤波器核大小为7，颜色空间标准差为7*2，坐标空间标准差为7/2；

在二值化后的图像上提取封闭轮廓，剔除轮廓周长小于T_L＝20的轮廓，最终保留的轮廓数为M。

进一步需要说明的是，基于车道线区域像素值高于地面其他区域的先验特征，设置全局阈值T＝100，使用高斯自适应阈值法计算局部阈值，滤波器核大小为3，滤波器核在图像上滑动处理过程中计算的局部自适应阈值为T′，当且仅当当前像素值同时大于T和T′时，当前像素值的滤波输出为255，否则输出为0，按公式(1)进行实现，I(x,y)为图像上(x,y)点的像素值；

进一步需要说明的是，步骤二中，

对车道线角点进行检测，检测轮廓Harris角点，角点检测邻域大小为2，Sobel窗口大小为3，Harris角度响应参数k设为0.04，通过非极大值抑制每个轮廓检测4个角点，即M个轮廓产生4M个角点；

计算每个轮廓点的中心点，即M个中心点，将角点坐标点与M个轮廓中心点进行匹配计算角点属于哪个轮廓，选择离当前角点近的轮廓中心点所属轮廓作为当前角点所在的轮廓，完成每个轮廓的角点检测；

图像坐标系以图像左上角为原点，x轴正方向向右，y轴正方向向下，对于每个轮廓的4个角点图像坐标，按角点y降序排序，按排列顺序2个点分为1组，保留每组中x坐标值较大的角点，即保留车道线轮廓的内侧角点，完成每个车道线轮廓的内侧角点检测；将角点按y坐标值降序排序存储。

进一步需要说明的是，角点与控制点坐标相互匹配，两组坐标按排列序号对应匹配，直到完成4对点匹配，则终止匹配操作。

进一步需要说明的是，步骤三中：

基于线性相机模型，采用张正友标定法进行相机内参标定，求解相机内参矩阵和畸变参数，使用EPNP方法求解相机位姿，算法输入为4组控制点和角点、相机内参矩阵、畸变向量，求解出相机相对于车体坐标系的旋转和平移参数。

本发明还提供一种基于车道线的自动驾驶车载相机位姿估计系统，包括：标定场景构建和数据采集模块、特征点提取和匹配模块和相机外参求解模块；

标定场景构建和数据采集模块用于定义标定场景构建要求、数据采集方法和数据存储方法；

特征点提取和匹配模块用于对采集到的图像进行处理提取图像中的车道线内角点，并与测量记录的控制点坐标匹配；

相机外参求解模块基于线性相机模型，求解相机对于车体坐标系的旋转和平移参数。

从以上技术方案可以看出，本发明具有以下优点：

本发明涉及的基于车道线的自动驾驶车载相机位姿估计方法中，基于车道线测量控制点并进行相机外参标定的方法，解决基于控制点的EPNP车载相机位姿估计标定场景构建困难、控制点坐标值难以测量的问题，利用平坦路面车道线笔直的特点，构建标定场景并测量控制点在车体坐标系下的坐标值；

本发明涉及的车道线内角点检测采用双边滤波对感兴趣区域进行滤波处理，通过合理设置滤波参数实现对路面区域平滑处理并且保留车道线边缘信息；

本发明提出的改进的高斯自适应阈值二值法利用车道线区域像素值较高的先验知识，使自适应阈值二值化输出更有效地滤除非车道线区域，提高轮廓和角点检测的准确率；

本发明所述的车道线内侧角点检测方法，通过对每个轮廓角点与轮廓中心点的近邻分析寻找角点所属轮廓，并根据车道线轮廓4个角点的空间分布特点剔除轮廓左侧两个角点，保留车道线内侧角点；

本发明所述的基于车道线特征的控制点测量、控制点对应角点检测和匹配方法，有效应用EPNP相机估计方法计算车载相机相对于车体坐标系的旋转和平移参数，使视觉感知和视觉SLAM信息可以与车体坐标系转换一致，利于自动驾驶感知和定位算法开发。

附图说明

为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为基于车道线的自动驾驶车载相机位姿估计方法流程图；

图2为基于车道线的自动驾驶车载相机位姿估计方法实现架构图；

图3为标定场景构建和数据采集示意图；

图4为特征点提取算法流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是解决前向车载相机坐标系向车体坐标系转换问题，使相机感知模块计算输出的障碍物、车道线等感知结果能够转换到车体坐标系下，为无人驾驶系统提供准确的感知信息。基于此，本发明提供一种基于车道线的自动驾驶车载相机位姿估计方法，如图1所示，方法包括：

S11、定义标定场景构建要求、数据采集方法和数据存储方法；

S12、对采集到的图像进行处理提取图像中的车道线内角点，并与测量记录的控制点坐标匹配；

S13、基于线性相机模型，求解相机相对于车体坐标系的旋转和平移参数。

本发明基于车道线虚线的特点构建标定场景，解决基于控制点的相机外参标定场景难以构建的问题，本发明提出改进的自适应高斯阈值法获取二值图像，有效去除干扰信息。通过解决相机坐标系向车体坐标系的转换问题，可以使自动驾驶相机感知结果转到车体坐标系下，为自动驾驶系统提供准确可用的感知信息，并且在基于视觉的SLAM应用中也起到重要作用。

本发明提供的基于车道线的自动驾驶车载相机位姿估计方法及系统的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

本发明提供的基于车道线的自动驾驶车载相机位姿估计方法及系统可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

进一步的讲，标定场景构建和数据采集中，如图3所示，标定场景构建和数据采集模块定义标定场景构建要求、数据采集方法和数据存储方法。标定场景构建选择地面平坦、车道线清晰、笔直虚线的道路作为标定场地，车辆停靠至车辆左侧与左侧车道线内边缘平齐、相接。车体坐标系原点为驱动轴的中心点在地面上的投影，坐标轴方向遵守右手定则，X轴方向前，Y轴方向向左，Z轴方向向上，标记驱动轴在地面上的投影直线(即Y轴)与平齐一侧车道线的交点P_o，测量P_o与左车道线内侧角点P_i之间的距离P_oP_i，记录每个角点在车体坐标系下的坐标值为(P_oP_i,W/2,0)，所记录角点称为控制点。将记控制点按P_oP_i升序排列存储。相机安装于车辆正前方，数据采集要求所采图像包含前方道路部分，采集图像尺寸大小为(w,h)。

本发明提供的车道线内角点检测算法中，如图4所示；

特征点提取和匹配模块对采集到的图像进行处理提取图像中的车道线内角点，并与测量记录的控制点坐标匹配,算法步骤如下：

步骤1：在图像上提取感兴趣区域，感兴趣区域左上角选为

(w/4,h/2)，右下角选为(w/2,h)；

步骤2：在感兴趣区域上使用双边滤波(Bilateral filter)方法进行滤波处理，双边滤波能在保留车道线边缘的同时对其他区域进行平滑去噪，滤波器核大小为7，颜色空间标准差为7*2，坐标空间标准差为7/2；

步骤3：图像滤波去噪后采用改进的高斯自适应阈值法进行二值化处理。所述的改进的高斯自适应阈值法，根据车道线区域像素值一般高于地面其他区域的先验特征，设置全局阈值T＝100，使用高斯自适应阈值法计算局部阈值，滤波器核大小为3，滤波器核在图像上滑动处理过程中计算的局部自适应阈值为T′，当且仅当当前像素值同时大于T和T′时，当前像素值的滤波输出为255，否则输出为0，具体按公式(1)进行实现，I(x,y)为图像上(x,y)点的像素值。

步骤4：在二值化后的图像上提取封闭区域轮廓，剔除轮廓周长小于T_L＝20的轮廓，最终保留的轮廓数为M，对于没有明显干扰的路面，所保留的M个轮廓即为车道线虚线的轮廓；

步骤5：在轮廓图像上进行Harris角点检测，角点检测邻域大小为2，Sobel窗口大小为3，Harris角度响应参数k设为0.04，通过非极大值抑制，每个轮廓检测出4个控制点，M个轮廓产生4M个控制点。

步骤6：寻找每个车道线虚线的内侧角点。图像坐标系以图像左上角为原点，x轴正方向向右，y轴正方向向下，对每个轮廓计算轮廓中心点，产生M个中心点，迭代计算步骤5中每个控制点与M个轮廓中心点的欧式距离，距离当前控制点最近的中心点所在的轮廓即为当前控制点所在的轮廓。完成全部控制点迭代后，为每个轮廓找到对应的一组4个角点，对每个轮廓的角点按图像y坐标降序排列，2个点分为1组，一个轮廓包含2组，保留每组中图像坐标x坐标值较大的点，即保留了车道线轮廓的内侧角点，所有保留下来的角点按图像y坐标值大小降序排列保留。

本发明涉及步骤三中的相机外参求解具体实施方式为；

相机外参求解基于线性相机模型，采用张正友标定法进行相机内参标定，求解相机内参矩阵和畸变向量。使用EPNP算法，将上述步骤6输出的角点和控制点匹配序列作为EPNP算法的输入，同时输入相机内参矩阵，畸变向量，求解出相机相对于车体坐标系的旋转和平移参数。

这样，本发明涉及的基于车道线的自动驾驶车载相机位姿估计方法中，基于车道线测量控制点并进行相机外参标定的方法，解决基于控制点的EPNP车载相机位姿估计标定场景构建困难、控制点坐标值难以测量的问题，利用平坦路面车道线笔直的特点，构建标定场景并测量控制点在车体坐标系下的坐标值；

本发明涉及的车道线内角点检测采用双边滤波对感兴趣区域进行滤波处理，通过合理设置滤波参数实现对路面区域平滑处理并且保留车道线边缘信息；

本发明提出的改进的高斯自适应阈值二值法利用车道线区域像素值较高的先验知识，使自适应阈值二值化输出更有效地滤除非车道线区域，提高轮廓和角点检测的准确率；

本发明所述的车道线内侧角点检测方法，通过对每个轮廓角点与轮廓中心点的近邻分析寻找角点所属轮廓，并根据车道线轮廓4个角点的空间分布特点剔除轮廓左侧两个角点，保留车道线内侧角点；

本发明所述的基于车道线特征的控制点测量、控制点对应角点检测和匹配方法，有效应用EPNP相机估计方法计算车载相机相对于车体坐标系的旋转和平移参数，使视觉感知和视觉SLAM信息可以与车体坐标系转换一致，利于自动驾驶感知和定位算法开发。

基于上述方法本发明还提供一种基于车道线的自动驾驶车载相机位姿估计系统，如图4所示，包括：标定场景构建和数据采集模块、特征点提取和匹配模块和相机外参求解模块；

标定场景构建和数据采集模块用于定义标定场景构建要求、数据采集方法和数据存储方法；

特征点提取和匹配模块用于对采集到的图像进行处理提取图像中的车道线内角点，并与测量记录的控制点坐标匹配；

相机外参求解模块基于线性相机模型，求解相机相对于车体坐标系的旋转和平移参数。

本发明的基于车道线的自动驾驶车载相机位姿估计系统是结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

基于车道线的自动驾驶车载相机位姿估计系统可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

本发明基于车道线虚线的特点构建标定场景，解决基于控制点的相机外参标定场景难以构建的问题，本发明提出改进的自适应高斯阈值法获取二值图像，有效去除干扰信息。通过解决相机坐标系向车体坐标系的转换问题，可以使自动驾驶相机感知结果转到车体坐标系下，为自动驾驶系统提供准确可用的感知信息，并且在基于视觉的SLAM应用中也起到重要作用。

本发明所实现的硬件设备：自动驾驶商用车及车载相机、工控机。操作系统：Linux。开发语言：C++。依赖库：OpenCV。

本发明采用EPnP基于控制点的方法进行相机位姿估计，基于平坦道路上车道线笔直的特点构建标定场景，使车辆沿车道线内边缘停靠，能够对控制点在车体坐标系下的坐标进行更准确的测量，根据车道线虚线在图像中具有封闭轮廓的特点，本发明提出改进的高斯自适应阈值法滤除车道线以外区域的干扰信息，准确提取车道线轮廓，基于每段车道线虚线只有4个角点的特点实现图像坐标系下角点与车体坐标系下控制点坐标的匹配，基于EPnP算法，求解相机相对于车体坐标系的旋转向量和平移矩阵。通过对车道线特点的利用，构建标定场地，使控制点测量简化，同时使控制点匹配更准确，实现相机相对于车体坐标系的外参估计。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种基于车道线的自动驾驶车载相机位姿估计方法，其特征在于，方法包括：

步骤一、定义标定场景构建要求、数据采集方法和数据存储方法；

步骤二、对采集到的图像进行处理提取图像中的车道线内角点，对车道线角点进行检测，检测轮廓Harris角点，角点检测邻域大小为2，Sobel窗口大小为3，Harris角度响应参数k设为0.04，通过非极大值抑制每个轮廓检测4个角点，即M个轮廓产生4M个角点；

计算每个轮廓点的中心点，即M个中心点，将角点坐标点与M个轮廓中心点进行匹配计算角点属于哪个轮廓，选择离当前角点近的轮廓中心点所属轮廓作为当前角点所在的轮廓，完成每个轮廓的角点检测；

图像坐标系以图像左上角为原点，x轴正方向向右，y轴正方向向下，对于每个轮廓的4个角点坐标，按y坐标降序排序，2个点分为1组，保留每组中x坐标值较大的角点，即保留车道线轮廓的内侧角点，完成每个车道线轮廓的内侧角点检测；将角点按y坐标值降序排序存储；

步骤三、基于线性相机模型，求解相机相对于车体坐标系的旋转和平移参数。

2.根据权利要求1所述的基于车道线的自动驾驶车载相机位姿估计方法，其特征在于，步骤一、

定义标定场景构建要求中：标定场景构建选择地面平坦、车道线清晰、笔直虚线的道路作为标定场地，车辆停靠至车辆左侧与左侧车道线内边缘平齐、相接。

3.根据权利要求1或2所述的基于车道线的自动驾驶车载相机位姿估计方法，其特征在于，步骤一中：

车体坐标系原点为驱动轴的中心点在地面上的投影，坐标轴方向遵守右手定则，X轴方向前，Y轴方向向左，Z轴方向向上，标记驱动轴在地面上的投影直线与平齐一侧车道线的交点P_o，测量P_o与左车道线内侧角点P_i之间的距离P_oP_i，记录每个角点在车体坐标系下的坐标值为(P_oP_i,W/2,0)所记录角点称为控制点；

将控制点按P_oP_i升序排列存储；

相机安装于车辆正前方，所采图像包含前方道路部分，采集图像尺寸大小为(w,h)。

4.根据权利要求1或2所述的基于车道线的自动驾驶车载相机位姿估计方法，其特征在于，步骤二中：

提取感兴趣图像区域，对图像进行去噪，再对图像进行二值化处理；

将图像转为单通道灰度图，感兴趣图像区域左上角选为(w/4,h/2)，右下角选为(w/2,h)，图像去噪方法采用双边滤波方法，在保留车道线边缘的同时对其他区域进行平滑去噪，滤波器核大小为7，颜色空间标准差为7*2，坐标空间标准差为7/2；

在二值化后的图像上提取封闭轮廓，剔除轮廓周长小于T_L＝20的轮廓，最终保留的轮廓数为M。

5.根据权利要求1或2所述的基于车道线的自动驾驶车载相机位姿估计方法，其特征在于，

基于车道线区域像素值高于地面其他区域的先验特征，设置全局阈值T＝100，使用高斯自适应阈值法计算局部阈值，滤波器核大小为3，滤波器核在图像上滑动处理过程中计算的局部自适应阈值为T′，当且仅当当前像素值同时大于T和T′时，当前像素值的滤波输出为255，否则输出为0，按公式(1)进行实现，I(x,y)为图像上(x,y)点的像素值；

6.根据权利要求4所述的基于车道线的自动驾驶车载相机位姿估计方法，其特征在于，

角点与控制点坐标相互匹配，两组坐标按排列序号对应匹配，直到完成4对点匹配，则终止匹配操作。

7.根据权利要求1所述的基于车道线的自动驾驶车载相机位姿估计方法，其特征在于，

基于线性相机模型，采用张正友标定法进行相机内参标定，求解相机内参矩阵和畸变参数，使用EPNP方法求解相机位姿，算法输入为4组控制点、相机内参矩阵、畸变向量，求解出相机相对于车体坐标系的旋转和平移参数。

8.一种基于车道线的自动驾驶车载相机位姿估计系统，其特征在于，系统执行如权利要求1至7任意一项所述的基于车道线的自动驾驶车载相机位姿估计方法；

系统包括：标定场景构建和数据采集模块、特征点提取和匹配模块和相机外参求解模块；

标定场景构建和数据采集模块用于定义标定场景构建要求、数据采集方法和数据存储方法；

特征点提取和匹配模块用于对采集到的图像进行处理提取图像中的车道线内角点，对车道线角点进行检测，检测轮廓Harris角点，角点检测邻域大小为2，Sobel窗口大小为3，Harris角度响应参数k设为0.04，通过非极大值抑制每个轮廓检测4个角点，即M个轮廓产生4M个角点；

计算每个轮廓点的中心点，即M个中心点，将角点坐标点与M个轮廓中心点进行匹配计算角点属于哪个轮廓，选择离当前角点近的轮廓中心点所属轮廓作为当前角点所在的轮廓，完成每个轮廓的角点检测；

图像坐标系以图像左上角为原点，x轴正方向向右，y轴正方向向下，对于每个轮廓的4个角点坐标，按y坐标降序排序，2个点分为1组，保留每组中x坐标值较大的角点，即保留车道线轮廓的内侧角点，完成每个车道线轮廓的内侧角点检测；将角点按y坐标值降序排序存储；

相机外参求解模块基于线性相机模型，求解相机相对于车体坐标系的旋转和平移参数。

Images