CN107703528B - 自动驾驶中结合低精度gps的视觉定位方法及系统 - Google Patents

Abstract

本发明公开一种自动驾驶中结合低精度GPS的视觉定位方法及系统，其通过检测路面车道线，对车道线的边缘点进行扩展卡尔曼滤波得到车道线的曲线，获取车辆到左右车道线的横向距离，结合高精度地图和GPS得到对车辆的横向位置纠正；同时检测识别路面交通标识，计算当前时刻车辆车载相机与目标物的纵向距离，结合高精度地图和GPS得到对车辆的纵向位置纠正；最后结合横向位置纠正和纵向位置纠正得到精确的车辆定位信息。如此，即通过采用价格低廉的低精度GPS与高精度地图的配合作用，实现高精度视觉辅助定位功能，其定位稳定、鲁棒性强且成本低，不受城市建筑、高架桥等障碍物遮挡反射影响，横向定位精度能够达到20厘米以内，适于商业推广应用。

Description

自动驾驶中结合低精度GPS的视觉定位方法及系统

技术领域

本发明涉及自动驾驶车辆定位技术领域，具体涉及一种自动驾驶中结合低精度GPS的视觉定位方法及系统。

背景技术

在自动驾驶和辅助驾驶领域，真实交通场景中高精度和鲁棒的定位尤为重要。在城市交通中，仅仅通过全球卫星导航系统(GNSS)定位误差多达10米甚至更大。如果结合高精度惯性导航(INS)和全球卫星导航系统(GNSS)可以到达较高精度的定位，但是高精度惯导成本高昂且典型的交通场景常常存在一些干扰，比如植被、建筑物的堵塞遮挡或者反射影响，导致定位漂移。因此，亟待提供一种低成本、定位稳定且鲁棒性强的视觉定位方法及系统。

发明内容

有鉴于此，本发明提供一种低成本、定位稳定且鲁棒性强的自动驾驶中结合低精度GPS的视觉定位方法及系统。

一种自动驾驶中结合低精度GPS的视觉定位方法，所述自动驾驶中结合低精度GPS的视觉定位方法包括以下步骤：

S1、检测路面车道线，对车道线的边缘点进行扩展卡尔曼滤波得到车道线的曲线，获取车辆到左右车道线的横向距离，结合高精度地图和GPS得到对车辆的横向位置纠正；

S2、检测识别路面交通标识，计算当前时刻车辆车载相机与目标物的纵向距离，结合高精度地图和GPS得到对车辆的纵向位置纠正；

S3、结合横向位置纠正和纵向位置纠正得到精确的车辆定位信息。

一种自动驾驶中结合低精度GPS的视觉定位系统，所述自动驾驶中结合低精度GPS的视觉定位系统包括以下功能模块：

横向纠正模块，用于检测路面车道线，对车道线的边缘点进行扩展卡尔曼滤波得到车道线的曲线，获取车辆到左右车道线的横向距离，结合高精度地图和GPS得到对车辆的横向位置纠正；

纵向纠正模块，用于检测识别路面交通标识，计算当前时刻车辆车载相机与目标物的纵向距离，结合高精度地图和GPS得到对车辆的纵向位置纠正；

精准定位模块，用于结合横向位置纠正和纵向位置纠正得到精确的车辆定位信息。

本发明提供一种自动驾驶中结合低精度GPS的视觉定位方法及系统，其通过检测路面车道线，对车道线的边缘点进行扩展卡尔曼滤波得到车道线的曲线，获取车辆到左右车道线的横向距离，结合高精度地图和GPS得到对车辆的横向位置纠正；同时检测识别路面交通标识，计算当前时刻车辆车载相机与目标物的纵向距离，结合高精度地图和GPS得到对车辆的纵向位置纠正；最后结合横向位置纠正和纵向位置纠正得到精确的车辆定位信息。如此，即通过采用价格低廉的低精度GPS与高精度地图的配合作用，实现高精度视觉定位功能，其定位稳定、鲁棒性强且成本低，不受植被障碍物遮挡反射影响，横向定位精度能够达到20厘米以内，适于商业推广应用。

附图说明

图1是本发明所述自动驾驶中结合低精度GPS的视觉定位方法的流程框图；

图2为图1中步骤S1的流程框图；

图3为图1中步骤S2的流程框图；

图4为图2中步骤S12的流程框图；

图5为图2中步骤S14的流程框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供一种自动驾驶中结合低精度GPS的视觉定位方法，如图1所示，所述自动驾驶中结合低精度GPS的视觉定位方法包括以下步骤：

S1、检测路面车道线，对车道线的边缘点进行扩展卡尔曼滤波得到车道线的曲线，获取车辆到左右车道线的横向距离，结合高精度地图和GPS得到对车辆的横向位置纠正。

其中，如图2所示，所述步骤S1包括以下分步骤：

S11、检测路面车道线，并对车道线的边缘点进行扩展卡尔曼滤波，得到车道线的曲线。

具体的，首先采集车辆驾驶中道路两侧场景图像，对采集的图像进行色彩平衡；对色彩平衡处理后的图像进行逆透视变换处理，使图像从透视图变为俯瞰图；对进行逆透视变换处理后的图像进行灰度化颜色处理、噪声抑制以及弱化阴影的处理。再对灰度图像进行二值化处理，设定灰度阈值，根据灰度阈值选择出车道线以及其他灰度稳定区域；最后对二值图进行边缘检测，寻找轮廓,根据车道线轮廓特征剔除除车道线以外被填充为白色的物体，即可得到车道线。通过对车道线的边缘点进行扩展卡尔曼滤波，得到车道线的曲线。

S12、在相机图像像素点中寻找空间坐标与实际测量值之间误差最小的一个像素点。

进一步的，如图4所示，所述步骤S12包括以下分步骤：

S121、对相机内参与外参进行标定，得到以相机光心为原点的相机三维坐标系中的点到相机成像平面像素点的透视投影关系；

S122、根据透视投影关系以及车辆行驶平面假设得到车道线曲线相对以相机光心为原点的相机三维坐标系中实际三维坐标；

S123、通过将相机图像中所有的像素点计算所得的空间坐标与实际测量值进行反复测量与测试，得到空间坐标与实际测量值之间误差最小的像素点，即当前距离测量最准确的一个相机图像像素点。

S13、通过车道线检测算法计算得到车辆分别到左右车道线的横向距离。

具体的，所述相机内在参数矩阵如下：

该矩阵源自透视投影的成像相机内参实际上描述了两个过程，首先是3D场景中的点通过透镜透视到了2D成像平面，然后成像平面通过图像传感器(COMS器件)产生图像，可以表述为下述的两个矩阵的乘积：

其中f_x＝f/ρ_w，f_y＝f/ρ_h，是指映射为像素单位的焦距长度，ρ_w和ρ_h是成像元件在成像时，图像传感器上每个像素点的物理尺寸转换到像素点成像时对应的mm/pixel实际值到像素点的比值。

所述相机外在参数矩阵如下：

通常在世界坐标系下，相机具有一个位姿ξ_C(位置和姿态)，ξ_C齐次坐标表达为T_C，空间点相对于相机坐标系的位置为：

其中^Cp表示相机坐标系下的空间点，⁰P表示世界坐标系下的空间点。

由上述的相机内外参数矩阵的定义可以得到一般形式的相机投影过程：

这个过程是一个3*4的齐次变换，其中

是世界坐标系下的3D空间点，

是图像平面的对应2D像素点，可以重新表示为：

其中C是这个3*4的齐次变换投影矩阵，即表现出了透视投影的不确定性，无法辨别目标的大小与远近的关系，那么有：

H是一个任意的非奇异的3*3矩阵，其物理意义是指由图像2D坐标点对应的3D空间坐标点有无限个，无限多种相机C′和空间点

都会在图像平面上得到相同的投影点

那么通过上述相机透视投影的关系，以及相机坐标系下所有车道线的3D点属于车辆行驶平面这一共面关系，即车辆行驶平面假设，可以知道相机坐标系下相机光心到左后车道线的距离的比例，等于相机成像平面内图像对应的左右车道线距离的比例。即可以通过车道线检测算法得到车载相机在当前车道内与左侧车道线、右侧车道线之间的距离的比例值，并由高精度地图信息中得到当前的左右车道线横向间距，根据比例值及左右车道线横向间距计算得到车辆分别到左右车道线的横向距离。

S14、根据车辆分别到左右车道线的横向距离判断车辆行驶状态，并对异常跳变进行修正；

进一步的，如图5所示，所述步骤S14包括以下分步骤：

S141、统计实际车辆行驶时，由相机到左右车道线空间点距离变化所表征的车辆行驶各种的状态；

S142、根据统计的车辆行驶各种的状态对SVM分类器进行训练；

S143、采用训练好的SVM分类器对异常跳变进行修正。

即如果突然产生了一个相机到左侧车道线距离的增大，但瞬间又回归到之前的相机到左侧车道线距离，那么这种异常值跳变或噪声即可以通过训练好的SVM分类器进行分类；一旦发现所属类别是“图像噪声引起的错误空间点距离跳变”，可以平滑滤波此时的相机到左右车道线空间点距离，或者直接减除这次跳变输出，从而完成跳变修正。

S15、结合高精度地图和GPS得到对车辆的横向位置纠正。

通过当前车辆与左右车道线之间的距离比值，得到车辆在当前车道内的横向精确位置，结合高精度地图和低成本GPS能够得到当前车辆与路面交通标识之间的横向推算位置，根据对横向精确位置与横向推算位置进行比较得到横向误差值，通过横向误差值对车辆的实时位置进行横向位置纠正。

S2、检测识别路面交通标识，计算当前时刻车辆车载相机与目标物的纵向距离，结合高精度地图和GPS得到对车辆的纵向位置纠正。

其中，如图3所示，所述步骤S2包括以下分步骤：

S21、检测识别路面交通标识，通过视觉几何从相机成像平面的2D点推算出路面交通标识的3D场景点的位置。

具体的，通过对相机图像中路面交通标识的检测区域进行LSD直线检测，并对LSD直线检测得到的局部直线进行描画直线，形成各个独立连通域；对连通域进行初步筛选，除掉面积、大小、形状不符合的连通域；制作SVM分类器，利用分类器进行对连通域进行分类，得到导流线、停止线、各类指示箭头的标识精确分类，提取路面标识的边缘点，采用制作得到的SVM分类器对边缘点进行判断分类，识别出路面交通标识。

S22、计算当前时刻车辆车载相机与路面交通标识之间的纵向距离；

根据相机外部参数得出在世界坐标系下相机坐标系的位姿，从而得到当前车辆行驶的道路平面的3D空间方程x＝h，其中h为相机距离地面的高度，将3D空间方程联合透视变换的计算式，推导得到图像上属于道路平面点的成像平面坐标系下2D像素点在相机坐标系3D点的坐标，其中在相机坐标系的空间点3D内的z轴是相机光轴方向指向车辆前进方向，即z值为此时的纵向距离。

S23、结合高精度地图和GPS得到对车辆的纵向位置纠正。

结合高精度地图和低成本GPS能够得到当前车辆与路面交通标识之间的纵向推算位置，根据计算得到的当前时刻车辆车载相机与路面交通标识之间的纵向精准距离与纵向推算位置进行比较得到纵向误差值，通过纵向误差值对车辆的实时位置进行纵向位置纠正。

S3、结合横向位置纠正和纵向位置纠正得到精确的车辆定位信息。

基于上述自动驾驶中结合低精度GPS的视觉定位方法，本发明还提供一种自动驾驶中结合低精度GPS的视觉定位系统，所述自动驾驶中结合低精度GPS的视觉定位系统包括以下功能模块：

横向纠正模块，用于检测路面车道线，对车道线的边缘点进行扩展卡尔曼滤波得到车道线的曲线，获取车辆到左右车道线的横向距离，结合高精度地图和GPS得到对车辆的横向位置纠正；

纵向纠正模块，用于检测识别路面交通标识，计算当前时刻车辆车载相机与目标物的纵向距离，结合高精度地图和GPS得到对车辆的纵向位置纠正；

精准定位模块，用于结合横向位置纠正和纵向位置纠正得到精确的车辆定位信息。

其中，所述横向纠正模块包括以下功能子模块：

车道线提取子模块，用于检测路面车道线，并对车道线的边缘点进行扩展卡尔曼滤波，得到车道线的曲线；

像素点寻找子模块，用于在相机图像像素点中寻找空间坐标与实际测量值之间误差最小的一个像素点；

横向距离计算子模块，用于通过车道线检测算法计算得到车辆分别到左右车道线的横向距离；

跳变修正子模块，用于根据车辆分别到左右车道线的横向距离判断车辆行驶状态，并对异常跳变进行修正；

横向位置纠正子模块，用于结合高精度地图和GPS得到对车辆的横向位置纠正。

其中，所述纵向纠正模块包括以下功能子模块：

初级识别子模块，用于检测识别路面交通标识，通过视觉几何以及车辆行驶平面假设，从相机成像平面的2D点推算出路面交通标识的3D场景点的位置；

纵向距离计算子模块，用于计算当前时刻车辆车载相机与路面交通标识之间的纵向距离；

纵向位置纠正子模块，用于结合高精度地图和GPS得到对车辆的纵向位置纠正。

其中，所述像素点寻找子模块包括以下功能单元：

透视投影单元，用于对相机内参与外参进行标定，得到以相机光心为原点的相机三维坐标系中的点到相机成像平面像素点的透视投影关系；

三维坐标获取单元，用于根据透视投影关系以及车辆行驶平面假设得到车道线曲线相对以相机光心为原点的相机三维坐标系中实际三维坐标；

误差比较单元，用于通过将相机图像中所有的像素点计算所得的空间坐标与实际测量值进行反复测量与测试，得到空间坐标与实际测量值之间误差最小的像素点。

其中，所述跳变修正子模块包括以下功能单元：

状态统计单元，用于统计实际车辆行驶时，由相机到左右车道线空间点距离变化所表征的车辆行驶各种的状态；

分类器训练单元，用于根据统计的车辆行驶各种的状态对SVM分类器进行训练；

分类修正单元，用于采用训练好的SVM分类器对异常跳变进行修正。

综上所述，本发明所述一种自动驾驶中结合低精度GPS的视觉定位方法及系统，其通过检测路面车道线，对车道线的边缘点进行扩展卡尔曼滤波得到车道线的曲线，获取车辆到左右车道线的横向距离，结合高精度地图和GPS得到对车辆的横向位置纠正；同时检测识别路面交通标识，计算当前时刻车辆车载相机与目标物的纵向距离，结合高精度地图和GPS得到对车辆的纵向位置纠正；最后结合横向位置纠正和纵向位置纠正得到精确的车辆定位信息。如此，即通过采用价格低廉的低精度GPS与高精度地图的配合作用，实现高精度视觉定位功能，其定位稳定、鲁棒性强且成本低，不受植被障碍物遮挡反射影响，横向定位精度能够达到20厘米以内，适于商业推广应用。

以上装置实施例与方法实施例是一一对应的，装置实施例简略之处，参见方法实施例即可。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能性一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应超过本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机储存器、内存、只读存储器、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其他形式的存储介质中。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (6)

1.一种自动驾驶中结合低精度GPS的视觉定位方法，其特征在于，所述自动驾驶中结合低精度GPS的视觉定位方法包括以下步骤：

S1、检测路面车道线，对车道线的边缘点进行扩展卡尔曼滤波得到车道线的曲线，获取车辆到左右车道线的横向距离，结合高精度地图和GPS得到对车辆的横向位置纠正；所述步骤S1包括以下分步骤：

S11、检测路面车道线，并对车道线的边缘点进行扩展卡尔曼滤波，得到车道线的曲线；

S12、在相机图像像素点中寻找与实际测量值之间误差最小的一个像素点；具体包括以下分步骤：

S121、对相机内参与外参进行标定，得到以相机光心为原点的相机三维坐标系中的点到相机成像平面像素点的透视投影关系；

S122、根据透视投影关系以及车辆行驶平面假设得到车道线曲线相对以相机光心为原点的相机三维坐标系中实际三维坐标；

S123、通过将所得的所述实际三维坐标与实际测量值进行反复测量与测试，得到所述实际三维坐标与实际测量值之间误差最小的像素点；

S13、通过车道线检测算法计算得到车辆分别到左右车道线的横向距离；

S14、根据车辆分别到左右车道线的横向距离判断车辆行驶状态，并对异常跳变进行修正；

S15、结合高精度地图和GPS得到对车辆的横向位置纠正；

S2、检测识别路面交通标识，计算当前时刻车辆车载相机与目标物的纵向距离，结合高精度地图和GPS得到对车辆的纵向位置纠正；

S3、结合横向位置纠正和纵向位置纠正得到精确的车辆定位信息。

2.根据权利要求1所述自动驾驶中结合低精度GPS的视觉定位方法，其特征在于，所述步骤S2包括以下分步骤：

S21、检测识别路面交通标识，通过视觉几何以及车辆行驶平面假设，从相机成像平面的2D点推算出路面交通标识的3D场景点的位置；

S22、计算当前时刻车辆车载相机与路面交通标识之间的纵向距离；

S23、结合高精度地图和GPS得到对车辆的纵向位置纠正。

3.根据权利要求1所述自动驾驶中结合低精度GPS的视觉定位方法，其特征在于，所述步骤S14包括以下分步骤：

S141、统计实际车辆行驶时，由相机到左右车道线空间点距离变化所表征的车辆行驶各种的状态；

S142、根据统计的车辆行驶各种的状态对SVM分类器进行训练；

S143、采用训练好的SVM分类器对异常跳变进行修正。

4.一种自动驾驶中结合低精度GPS的视觉定位系统，其特征在于，所述自动驾驶中结合低精度GPS的视觉定位系统包括以下功能模块：

横向纠正模块，用于检测路面车道线，对车道线的边缘点进行扩展卡尔曼滤波得到车道线的曲线，获取车辆到左右车道线的横向距离，结合高精度地图和GPS得到对车辆的横向位置纠正；所述横向纠正模块包括以下功能子模块：

车道线提取子模块，用于检测路面车道线，并对车道线的边缘点进行扩展卡尔曼滤波，得到车道线的曲线；

像素点寻找子模块，用于在相机图像像素点中寻找与实际测量值之间误差最小的一个像素点；所述像素点寻找子模块包括以下功能单元：

透视投影单元，用于对相机内参与外参进行标定，得到以相机光心为原点的相机三维坐标系中的点到相机成像平面像素点的透视投影关系；

三维坐标获取单元，用于根据透视投影关系以及车辆行驶平面假设得到车道线曲线相对以相机光心为原点的相机三维坐标系中实际三维坐标；

误差比较单元，用于将所得的实际三维坐标与实际测量值进行反复测量与测试，得到所述实际三维坐标与实际测量值之间误差最小的像素点；

横向距离计算子模块，用于通过车道线检测算法计算得到车辆分别到左右车道线的横向距离；

跳变修正子模块，用于根据车辆分别到左右车道线的横向距离判断车辆行驶状态，并对异常跳变进行修正；

横向位置纠正子模块，用于结合高精度地图和GPS得到对车辆的横向位置纠正；

纵向纠正模块，用于检测识别路面交通标识，计算当前时刻车辆车载相机与目标物的纵向距离，结合高精度地图和GPS得到对车辆的纵向位置纠正；

精准定位模块，用于结合横向位置纠正和纵向位置纠正得到精确的车辆定位信息。

5.根据权利要求4所述自动驾驶中结合低精度GPS的视觉定位系统，其特征在于，所述纵向纠正模块包括以下功能子模块：

初级识别子模块，用于检测识别路面交通标识，通过视觉几何以及车辆行驶平面假设，从相机成像平面的2D点推算出路面交通标识的3D场景点的位置；

纵向距离计算子模块，用于计算当前时刻车辆车载相机与路面交通标识之间的纵向距离；

纵向位置纠正子模块，用于结合高精度地图和GPS得到对车辆的纵向位置纠正。

6.根据权利要求4所述自动驾驶中结合低精度GPS的视觉定位系统，其特征在于，所述跳变修正子模块包括以下功能单元：

状态统计单元，用于统计实际车辆行驶时，由相机到左右车道线空间点距离变化所表征的车辆行驶各种的状态；

分类器训练单元，用于根据统计的车辆行驶各种的状态对SVM分类器进行训练；

分类修正单元，用于采用训练好的SVM分类器对异常跳变进行修正。

Images