CN105676253B - 一种自动驾驶中基于城市道路标线地图的纵向定位系统及其方法 - Google Patents

Abstract

本发明提供一种自动驾驶中基于城市道路标线地图的纵向定位系统及其方法。通过智能驾驶车辆采集到的当前道路标线信息，结合当前GNSS给出的存在误差的定位点坐标，进一步在当前定位点坐标附近进行基于道路标线地图的车辆纵向定位，以此来校正、重定位当前车辆的准确位置，能够有效的在城市复杂环境下的结构化道路上，利用静止的道路标线的绝对位置，对GNSS定位进行辅助校正、对INS系统进行积累误差的消除。

Description

一种自动驾驶中基于城市道路标线地图的纵向定位系统及其 方法

技术领域

本发明涉及智能驾驶技术领域，尤其涉及一种自动驾驶中基于城市道路标线地图的纵向定位系统及其方法。

背景技术

对于智能驾驶、辅助安全驾驶领域而言，车辆自身的导航与定位是不可缺少的基础功能。车辆自导航，能够解决智能驾驶中如何自动的、经济的、便捷的规划始发地与目的地之间的驾驶路线；车辆自定位，则决定了在导航规划的路线中，能否准确的、安全的、快捷的完成自动驾驶的行驶动作。

现阶段应用较广泛的导航技术所依赖的是传统的、低精度的、道路级的地图数据，由航空器、卫星所采集的测绘影像数据生成，一般而言完全无法达到能够检测出清晰道路标线的地面分辨率，然而车辆的智能驾驶却依赖着高精度的、车道级的地图影像数据，需要实时的对当前行驶轨迹作出策略层上的判断。

对于车辆自身的定位技术，现阶段普遍采取的是GNSS(全球导航卫星系统，GlobalNavigation Satellite System)和/或INS(惯性导航系统，Inertial NavigationSystem)。在室外开阔地带GNSS定位误差可以小于0.1M，但是由于存在NLOS(非视距，Non-Line-Of-Sight)传播信号及信号的Multipath(多路径)效应对于GNSS定位信号的影响，在城市复杂环境下GNSS定位精度将受到较大干扰；而采用INS的定位系统，可以连续推算移动目标的运动速度和运动方向，但由于累积误差的存在，INS的定位精度会随着时间增长而退化、降低。

一般的，现有车载导航设备中INS系统会与GNSS系统结合使用，依赖INS在短时间段内的高精度来校正GNSS的定位误差。然而，由于车辆行驶中转向、车轮或编码器等出现滑动等因素的存在，集成GNSS与INS的定位系统仍然无法达到城市路段中的车道级别高精度定位的需求。

在复杂的城市环境中，只有当车辆获取到当前精确的位置信息与行驶中的车道信息，才能够达到无人驾驶车辆的基本技术要求。

发明内容

为了克服现有技术的不足，本发明提供一种自动驾驶中基于城市道路标线地图的纵向定位系统及其方法。通过智能驾驶车辆采集到的当前道路标线信息，结合当前GNSS给出的存在误差的定位点坐标，进一步在当前定位点坐标附近进行基于道路标线地图的车辆纵向定位，以此来校正、重定位当前车辆的准确位置。

本发明所采用的技术方案是：

一种自动驾驶中基于城市道路标线地图的纵向定位系统，包括：

图像采集模块，用于采集车辆前方图像；

图像处理模块，用于将采集到的车辆前方图像进行处理，得到当前车辆前方的鸟瞰视图及前方道路标线像素分类的二值图；

匹配模块，用于接收道路标线地图信息、当前道路标线像素分类的二值图、初步定位信息，并对三者进行匹配，输出精确定位信息；

地图提供模块，用于向匹配模块提供道路标线地图信息；

车载全球导航卫星系统GNSS，用于与INS结合向匹配模块提供初步定位信息；

惯性导航系统INS，用于与GNSS结合向匹配模块提供初步定位信息。

作为优选，所述地图提供模块根据图像匹配模块连续的匹配结果进行地图更新。

作为优选，所述车载全球导航卫星系统GNSS和惯性导航系统INS根据匹配模块输出的精确定位信息进行定位误差校正。

一种自动驾驶中基于城市道路标线地图的纵向定位方法，包括以下步骤：

步骤1、在智能驾驶车辆上，前向安装图像采集模块，动态的获取到车辆前方图像；

步骤2、对图像采集模块采集到的每一帧场景图像进行逆透视变换，得到当前车辆前方的道路平面的正射投影视图；

步骤3、对步骤2中经过逆透视变换得到的正射投影视图进行图像阈值分割处理，并经过分类筛选得到正射投影图像中属于路面道路标线像素分类的二值图；

步骤4、通过GNSS系统和INS系统得到初步定位信息并结合城市道路标线地图确定定位点周围的道路标线区块；

步骤5、对步骤3得到的车辆前方道路标线像素分类的二值图与步骤4得到的道路标线区块进行匹配，判定最大相似匹配点，即得到了当前道路标线的二值图中特定道路标线的物理定位点，再结合摄像头与车辆安装时的位置关系，推算当前车辆在道路平面上的物理定位点；

作为优选，步骤1还包括记录图像采集模块的参数，包括摄像头的相机内参数、摄像头安装时距离地面的高度h、摄像头视场角度，并以此建立逆透视变换矩阵。

作为优选，步骤3中通过多类别之间的类间方差，和/或KMeans聚类方法，和/或FloodFill运算得到初始分割阈值序列。

作为优选，该方法还包括根据最终确定的当前车辆在道路平面上的物理定位点，对GNSS系统进行重新校正，消除INS系统中的积累误差。

作为优选，该方法还包括根据步骤3中得到的道路标线像素的二值图进行标线地图更新，具体步骤如下：

步骤301：结合INS在短距离运行间隔时的高精度特性，记录每次采集与前一次采集时，车辆的行进轨迹、位置、速度以及方向，以便每一帧道路标线正射二值图能够正确的拼接在全局道路标线地图上；

步骤302：根据越靠近摄像头所成像的道路标线图像像素点，其携带正确信息的概率越大的特点，对阈值分割处理后的道路标线图像像素点进行加权计算得到道路标线正射概率图；

步骤303：对步骤302得到的正射概率图进行信息融合，生成或更新当前的全局道路标线地图。

作为优选，步骤303中所采用的信息融合方法包括DS证据理论、隐马尔科夫状态转移过程。

与现有技术相比，本发明具有以下优点：

1.能够有效的在城市复杂环境下的结构化道路上，利用静止的道路标线的绝对位置，对GNSS定位进行辅助校正、对INS系统进行积累误差的消除；

2.定位过程实质上是在地图的局部搜索极大相似区域，可以通过卷积操作快速完成；如果当前道路标线存在污损、残缺，无法完整的进行图像阈值分割，本方法仍然能够给出一个近似的地图匹配点，处理流程鲁棒性较好，实用区域广泛。

附图说明

图1是根据本发明内容实施的系统结构示意图；

图2是根据本发明内容实施的方法流程图；

图3是道路标线地图的采集与生成过程的示意图；

图4表示了根据本发明内容的实施的用于描述逆透视变换(IPM)时的摄像头场景示意性图像，其中(a)是智能驾驶车辆摄像头采集到的图像，(b)是经过IPM后的正射视图，(c)说明了透视图与正射图在像素点单应性上的区别；

图5是根据本发明的实施例中智能驾驶车辆车载视觉系统中摄像头安装示意性框图；

具体实施方式

为了使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

参见图1，该图为本发明实施例提供的基于城市道路标线地图的纵向定位系统结构示意图，系统包括：

图像采集模块，用于采集车辆前方图像，该模块中摄像头安装时距地高度h，摄像头视场与地面夹角由theta标示，如图5所示；

图像处理模块，用于将采集到的车辆前方图像进行处理，得到当前车辆前方的鸟瞰视图及前方道路标线像素分类的二值图；

匹配模块，用于接收道路标线地图信息、当前道路标线像素分类的二值图、初步定位信息，并对三者进行匹配，输出精确定位信息；

地图提供模块，该模块内预先存储有城市道路标线地图，用于向匹配模块提供道路标线地图信息，并根据系统最终输出的精确定位信息，重新生成或更新道路标线地图；

车载全球导航卫星系统GNSS和/或惯性导航系统INS，二者结合，用于向匹配模块提供初步定位信息，并根据系统最终输出的精确定位信息，校正GNSS定位信息、消除INS积累误差。

图2所示为根据本发明内容实施的方法流程图，一种基于城市道路标线地图的纵向定位方法，包括以下步骤：

(1)智能驾驶车辆上前向安装的摄像头实时采集当前前方道路场景视频流，并获取当前帧的图像数据，通过预先标定得到的逆透视变换矩阵，将得到此时的正射影像视图；

所述的逆透视变换矩阵依赖以下三部分参数，摄像头的相机内参数，摄像头安装时距离地面的高度，以及摄像头的相机视场角度；

摄像头安装的参数部分，由本说明书附图5摄像头示意性框图所示，其中摄像头安装时距地高度h，摄像头视场与地面夹角由theta标示；

通过对当前摄像头采集的图像，应用逆透视变换矩阵，可将视角转为鸟瞰形式，即得到当前道路场景的正射影像。在正射视图中，道路标线能够保持形状、位置不变的平面特性。

(2)图像分割阈值的计算及相应二值化操作。

在本实施例中，对于原场景彩色图像需要首先灰度化，可以按照一般地彩色RGB图像灰度化方法进行：

假定RGB彩色三通道图像上位于某一像素点处的像素值为(r,g,b)，那么灰度化时该点处的像素值为0.299*r+0.587*g+0.114*b。

本实施例中所需的分割阈值即可通过可选的以下方法初步判定：多类别之间的类间方差方法，和/或KMeans聚类方法，和/或FloodFill运算，使得当前道路场景图像中所有像素值依照一定分类思路，得到初始分割阈值的序列，在分割阈值序列所划分的像素值区间段进行图像分割，得到分割后的道路场景的序列图像。

一般的，序列图像由多张二值图像组成，二值图像由0或1表示每一个像素点的像素值，每一张二值图像则代表不同分类类别中，属于这一个类别的场景像素点的分布，如果某一像素点隶属于此分类类别，则将在序列中这一分类二值图像中标示像素值为1。

通过以上所述的阈值分割技术，最后可以得到当前的道路标线二值图。

(3)获取当前道路标线的二值图之后，按照不同的两种流程进行下一步操作，

首先是智能驾驶车辆纵向定位流程分支：

在智能驾驶车辆纵向定位流程分支中，首先需要的是获取GNSS给出的定位信息，因为GNSS在城市复杂环境内使用会存在定位误差，但是这个定位误差并不会偏差真实物理地点太大的距离，那么此时可以利用GNSS的带有一定误差的定位点，选择道路标线地图中的特定范围，以便降低定位时的计算量，加快定位进程。

其次，根据当前道路标线的二值图进一步作分析与处理：获取当前车辆行驶的车道左右的行道线，并检测当前行道线之间的区域内是否存在有一定特征的道路标线，例如斑马线、停止线、限速标志、车道导流线等。理论上，这一步骤会占用一部分的处理时间，但是其优点是如果当前道路标线二值图中只包含行道线，那么除了给出当前车道信息之外并没有其他的纵向信息，如果进行地图匹配可能会给出非常多的最大相似点，实际上对只包含行道线的道路标线二值图进行辅助定位是没有意义的，而真实环境下大多数道路路面上只包含行道线信息，而不包含其他的路面交通标志，那么从整体角度上考虑在实施例中进行路面交通标志的检测是具有良好意义的。

最后，当检测到特定的道路标线，结合当前GNSS确定的道路标线区块，判定最大相似的匹配点，即得到了当前道路标线的二值图中特定道路标线的物理定位点。结合摄像头与车辆安装时的位置关系，推算当前车辆在道路平面(也就是道路标线正射视图所确定的平面)上的物理定位点。至此便完成了利用道路标线信息辅助GNSS的纵向定位流程。

其次是针对后台地图数据的道路标线地图生成与更新流程分支：

针对道路标线地图的生成与更新，则是依赖了上述步骤(2)得到的当前智能车辆前方的道路标线正射二值图。

道路标线地图的生成过程如图3所示，首先是上述的车辆运行轨迹上的道路标线正射二值图的采集，其次是通过结合INS在短距离运行间隔时的高精度特性，记录每次采集与前一次采集时，车辆的行进轨迹、位置、速度以及方向，以便每一帧道路标线正射二值图能够正确的拼接在全局道路标线地图上。最后，由于每次采集时，道路标线正射二值图中所有1像素值的像素点，正确表示其属于道路标线分类的概率并不相同，越靠近摄像头所成像的道路标线图像像素点，其携带正确信息的概率越大，特别是在经过IPM的正射视图中，距离成像平面越远的点，在道路标线二值图上对应的1像素值的像素点携带正确信息的概率值越低。基于这一原因，最终在全局地图数据中参与计算的不是原始的道路标线正射二值图，而是经过概率化之后的道路标线正射概率图，即可使用信息融合的方法生成/更新当前的全局道路标线地图。信息融合的具体方法，包括但不限于DS证据理论、隐马尔科夫状态转移过程。

图4(c)描述的是一种正射视图与透视视图的简单示意，可以发现实际上距离当前图像采集的摄像头距离越远处的场景，在透视视图中会采用更少的像素表达，那么在同一位置处的正射视图中，这一远处场景实际上经过了更多的图像处理操作(图像拉伸、插值、旋转等)，如图4(a)所示场景下，在车辆正前方每隔5米的左右行道线上放置不同色彩的、大小形状相同的三角形路障，图4(b)中，是经过IPM后的正射道路场景，从正射场景的道路图像上也可以看出，随着与摄像头成像平面距离的增加，正射场景上距离越远的物体越难以直观的辨识，距离越远的路面越难以分辨路面上的纹理。

从信息理论角度分析，对原始图像进行的每一次图像处理操作，都会造成原始图像所携带的信息的损失，那么就能很好的理解为什么需要人工的按照与摄像头间距，设置概率加权值。

在本实施例中，采取了如下方式设定。如图4(a)透视视图中，以最近距离的三角形路障在图像中的像素点面积为基准面积，依次统计随后每一个5米间隔的三角形路障的图像像素点面积，这一面积实际上反映的是经过透视变换后，三角形路障在投影平面上的透视关系(即近大远小)，那么与基准面积的比例即不同位置下像素点携带信息量的增减比例。本实施例中，经过计算依次得到的物体与成像平面之间不同距离条件下的人工加权概率值如表1所示：

表1

进一步，由于实际的正射道路标线二值图每一行都可能存在需要加权的1像素值像素点，但表1中只确定了其中一小部分的比例值，此时需要采用插值的方法将这一比例映射至整幅图像的高度区间上。在本实施例中采用的是二次多项式拟合的方法，通过最小二乘法计算出此时二次多项式的多项式系数，即可以将原正射道路标线二值图映射成为正射道路标线概率图。至此，本实施例中道路标线地图的生成、更新流程详述完毕。

说明书中未阐述的部分均为现有技术或公知常识。本实施例仅用于说明该发明，而不用于限制本发明的范围，本领域技术人员对于本发明所做的等价置换等修改均认为是落入该发明权利要求书所保护范围内。

Claims (8)

1.一种自动驾驶中基于城市道路标线地图的纵向定位系统，其特征在于：该系统包括：

图像采集模块，用于采集车辆前方图像；

图像处理模块，用于将采集到的车辆前方图像进行处理，得到当前车辆前方的鸟瞰视图及前方道路标线像素分类的二值图；

匹配模块，用于接收道路标线地图信息、当前道路标线像素分类的二值图、初步定位信息，并对三者进行匹配，输出精确定位信息；

地图提供模块，用于向匹配模块提供道路标线地图信息；

车载全球导航卫星系统GNSS，用于与INS结合向匹配模块提供初步定位信息；

惯性导航系统INS，用于与GNSS结合向匹配模块提供初步定位信息；

所述车载全球导航卫星系统GNSS和惯性导航系统INS根据匹配模块输出的精确定位信息进行定位误差校正。

2.根据权利要求1所述的一种自动驾驶中基于城市道路标线地图的纵向定位系统，其特征在于：所述地图提供模块根据匹配模块连续的匹配结果进行地图更新。

3.一种自动驾驶中基于城市道路标线地图的纵向定位方法，其特征在于：该方法包括以下步骤：

步骤1、在智能驾驶车辆上，前向安装图像采集模块，动态的获取到车辆前方图像；

步骤2、对图像采集模块采集到的每一帧场景图像进行逆透视变换，得到当前车辆前方的道路平面的正射投影视图；

步骤3、对步骤2中经过逆透视变换得到的正射投影视图进行图像阈值分割处理，并经过分类筛选得到正射投影图像中属于路面道路标线像素分类的二值图；

步骤4、通过GNSS系统和INS系统得到初步定位信息并结合城市道路标线地图确定定位点周围的道路标线区块；

步骤5、对步骤3得到的车辆前方道路标线像素分类的二值图与步骤4得到的道路标线区块进行匹配，判定最大相似匹配点，即得到了当前道路标线像素分类的二值图中特定道路标线的物理定位点，再结合摄像头与车辆安装时的位置关系，推算当前车辆在道路平面上的物理定位点。

4.根据权利要求3所述的一种自动驾驶中基于城市道路标线地图的纵向定位方法，其特征在于：步骤1还包括记录图像采集模块的参数，包括摄像头的相机内参数、摄像头安装时距离地面的高度h和摄像头视场角度，并以此建立逆透视变换矩阵。

5.根据权利要求3所述的一种自动驾驶中基于城市道路标线地图的纵向定位方法，其特征在于：步骤3中通过多类别之间的类间方差，和/或KMeans聚类方法，和/或FloodFill运算得到初始分割阈值序列。

6.根据权利要求3所述的一种自动驾驶中基于城市道路标线地图的纵向定位方法，其特征在于：该方法还包括根据最终确定的当前车辆在道路平面上的物理定位点，对GNSS系统进行重新校正，消除INS系统中的积累误差。

7.根据权利要求3所述的一种自动驾驶中基于城市道路标线地图的纵向定位方法，其特征在于：该方法还包括根据步骤3中得到的道路标线像素分类的二值图进行标线地图更新：

步骤301：结合INS在短距离运行间隔时的高精度特性，记录每次采集与前一次采集时，车辆的行进轨迹、位置、速度以及方向，以便每一帧道路标线正射二值图能够正确的拼接在全局道路标线地图上；

步骤302：根据越靠近摄像头所成像的道路标线图像像素点，其携带正确信息的概率越大的特点，对阈值分割处理后的道路标线图像像素点进行加权计算得到道路标线正射概率图；

步骤303：对步骤302得到的正射概率图进行信息融合，生成或更新当前的全局道路标线地图。

8.根据权利要求7所述的一种自动驾驶中基于城市道路标线地图的纵向定位方法，其特征在于：步骤303中所采用的信息融合方法包括DS证据理论或隐马尔科夫状态转移过程。