CN109059954B - 支持高精度地图车道线实时融合更新的方法和系统 - Google Patents

Abstract

本发明涉及地图领域，涉及支持高精度地图车道线实时融合更新的方法，包括：采集视频图像数据和各个轨迹点的行驶数据；通过深度学习对视频图像数据进行场景分割，提取物体和物体类别；根据分割结果把车道线中心投影到俯视图，再对车道线进行视觉跟踪处理，将跟踪成功的车道线的俯视图坐标转化到原图坐标；利用单目测距方法结合车道线的原图坐标和行驶数据对车道线重建；对车道线进行融合更新。本发明还提出支持高精度地图车道线实时融合更新的系统。本发明采用人工智能识别视频图像中的车道线，并根据视频帧间图像场景变化小的特性，对车道线数据跟踪，提高车道线的检测精度；采用网格结构存储地图数据，并行处理与更新地图数据，提高建图效率。

Description

支持高精度地图车道线实时融合更新的方法和系统

技术领域

本发明涉及地图领域，特别涉及一种支持高精度地图车道线实时融合更新的方法和系统。

背景技术

高精度地图应用于自动驾驶，无人机等场景，提供非常精确且重要的先验知识。不同于传统导航地图，高精度地图要求对覆盖范围内的道路元素的变化能够迅速且精确反馈更新。为了能对全国的道路信息进行实时的采集与更新，比较好的高精度地图采集方式是通过车辆对主要的道路进行快速覆盖，将数据回传，通过对采集到的视频图像进行分析，结合定位数据，对道路上的目标元素进行后台融合处理，通过各个局部的信息构建出全局的信息。

当前的高精度地图采集系统，主要存在以下特点：

(1)利用外部图像、惯性测量单元和无线测量技术GNSS和其他非无线测量传感器测量的数据融合结果，确定用户在全球坐标中的回路轨迹，并结合此轨迹和应用了vSLAM技术的图像特征点，获取平面结构和(或)立体结构地图。

(2)利用图像拍摄模块、水平激光雷达、GPS处理模块、惯性导航模块、旋转编码器以及图像预处理模块以及地理信息处理模块来生成地图。

(3)利用卫星照片、车载传感器(激光雷达和相机)、组合定位系统(卫星定位系统和惯性导航系统)来获取原始道路数据融合生成地图。

当时这样的高精度地图采集系统，使用了比较多的传感器来提高地图的精度，而多传感器带来的明显问题是成本上的提高，如激光雷达的成本从数数万到数十万不等，这使得卫星照片获取成本昂贵。

发明内容

本发明的实施方式旨在至少解决现有技术中存在的技术问题之一。为此，本发明的实施方式需要提供一种支持高精度地图车道线实时融合更新的方法和系统。

本发明实施方式的支持高精度地图车道线实时融合更新的方法，其特征在于，包括：

步骤1，采集车辆前方道路场景的视频图像数据和车辆行驶轨迹上各个轨迹点的行驶数据；

步骤2，通过深度学习对视频图像数据进行场景分割，提取场景中的物体和物体类别；

步骤3，根据分割结果，定位车道线在图像中的区域，把车道线中心投影到俯视图中，再对车道线进行视觉跟踪处理，将跟踪成功的车道线的俯视图坐标转化到原图坐标；

步骤4，利用单目测距方法结合车道线的原图坐标和行驶数据对车道线进行重建；

步骤5，对车道线进行融合更新。

一种实施方式中，步骤2包括：

步骤21，预先设置全卷积网络作为深度学习网络对视频图像数据进行场景分割；

步骤22，依据预设的高精度地图要素需求，根据包括不同类型的车道线、交通灯、交通标志、车道两旁护栏和限高在内的元素生成深度学习样本；

步骤23，搭建全卷积网络生成分割模型；

步骤24，利用分割模型提取场景中的物体和物体类别。

一种实施方式中，步骤3包括：

步骤31，根据分割结果，生成保存车道线位置信息的二值图Mat_1，其中属于车道线的像素点标为第一颜色，除车道线之外的像素点的标为第二颜色；

步骤32，对二值图Mat_1进行搜索，定位车道线在图像中的区域；

步骤33，把车道线中心投影到俯视图Mat_2中，再对车道线进行视觉跟踪处理；

步骤34，将跟踪成功的车道线的俯视图坐标转化到原图坐标。

一种实施方式中，步骤32包括：

步骤321，对二值图Mat_1进行聚类，获取聚类后的范围，并生成聚类后的范围的外接矩形；

步骤322，以生成的外接矩形为边界，依据车道线轮廓与趋势，计算出车道线的中点坐标，来定位车道线在图像中的区域。

一种实施方式中，步骤33包括：

步骤331，把车道线中心投影到俯视图Mat_2中，将第一颜色的点连成线line(i)；其中i＝1，2......n；

步骤332，根据连续k帧的车道线数据进行车道线跟踪模型的初始化，生成跟踪线trackline(j)；其中3＜k＜10，j＝1，2......m；

步骤333，根据跟踪线trackline(j)，选取位置与跟踪线trackline(j)相差小于位置坐标变化阈值，且角度差小于角度变化阈值的线line(i)作为候选线candidate_line(s)，并记下每条跟踪线跟踪到的线tracked_line(t，cl)；其中s＝0，1，2...c，t代表跟踪线id，cl代表被跟踪到的候选线id；

步骤334，计算每条候选线candidate_line(s)的置信度；

步骤335，根据置信度过滤干扰线；

步骤336，根据PID原理更新跟踪线trackline(j)；

步骤337，获得车道线视觉跟踪的结果。

一种实施方式中，视频图像数据为带时间戳的视频图像，行驶数据包括：该轨迹点的WGS-84球面坐标、行驶的航向角以及行驶的时间戳；则步骤4包括：

步骤41，通过摄像头利用单目测距方法结合车道线的原图坐标计算出车道线上点到摄像头的相对坐标；

步骤42，结合行驶的航向角将轨迹点的WGS-84球面坐标转换为xy平面坐标，以视频图像数据和行驶数据二者的时间戳同步为依据计算出车道线的xy平面坐标；

步骤43，对离摄像头距离超过预设距离dst的点进行过滤；

步骤44，重建车道线并为车道线赋予lane_id。

一种实施方式中，步骤5包括：

步骤51，将地图区域划分成若干个同等大小的网格区域；

步骤52，获取步骤4重建的车道线并使用抽稀算法分组，每组生成车道线片段；

步骤53，根据行驶轨迹点对应地图区域的轨迹，实时监控该网格区域是否需要更新；

步骤54，对需要更新的网格区域，融合该网格区域内的历史车道线与新的车道线；

步骤55，将网格区域车道线更新结果重新写入数据库。

本发明实施方式还同时提出一种支持高精度地图车道线实时融合更新的系统，其特征在于，包括：

采集模块，用于采集车辆前方道路场景的视频图像数据和车辆行驶轨迹上各个轨迹点的行驶数据；

图像处理模块，用于通过深度学习对视频图像数据进行场景分割，提取场景中的物体和物体类别；

车道线跟踪模块，用于根据分割结果，定位车道线在图像中的区域，把车道线中心投影到俯视图中，再对车道线进行视觉跟踪处理，将跟踪成功的车道线的俯视图坐标转化到原图坐标；

车道线重建模块，用于利用单目测距方法结合车道线的原图坐标和行驶数据对车道线进行重建；

车道线融合更新模块，用于对车道线进行融合更新。

一种实施方式中，图像处理模块，具体用于预先设置全卷积网络作为深度学习网络对视频图像数据进行场景分割；再依据预设的高精度地图要素需求，根据包括不同类型的车道线、交通灯、交通标志、车道两旁护栏和限高在内的元素生成深度学习样本；然后搭建全卷积网络生成分割模型；利用分割模型提取场景中的物体和物体类别。

一种实施方式中，车道线跟踪模块，具体用于根据分割结果，生成保存车道线位置信息的二值图Mat_1；再对二值图Mat_1进行搜索，定位车道线在图像中的区域；把车道线中心投影到俯视图Mat_2中，再对车道线进行视觉跟踪处理；将跟踪成功的车道线的俯视图坐标转化到原图坐标。

本发明实施方式的支持高精度地图车道线实时融合更新的方法和系统，采用人工智能方式识别视频图像中的车道线，并根据视频帧间图像场景变化小的特性，对车道线数据跟踪，提高车道线的检测精度；采用网格结构存储地图数据，并行处理与更新地图数据，提高建图效率。

本发明的附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的实施方式的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本发明实施方式的支持高精度地图车道线实时融合更新的方法的流程示意图；

图2是本发明实施方式的支持高精度地图车道线实时融合更新的系统的组成示意图；

图3是本发明实施方式的图像处理样本的示意图；

图4是本发明实施方式的车道线中点计算示意图；

图5是本发明实施方式的车道线角度与底点棋盘格示意图；

图6是本发明实施方式的车道线跟踪效果图；

图7是本发明实施方式的单目测距示意图；

图8是本发明实施方式的网格监控示意图；

图9是本发明实施方式的生成地图效果示意图。

具体实施方式

下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅可用于解释本发明的实施方式，而不能理解为对本发明的实施方式的限制。

请参阅图1，本发明实施方式的支持高精度地图车道线实时融合更新的方法，包括：

步骤1，采集车辆前方道路场景的视频图像数据和车辆行驶轨迹上各个轨迹点的行驶数据；

步骤2，通过深度学习对视频图像数据进行场景分割，提取场景中的物体和物体类别；

步骤3，根据分割结果，定位车道线在图像中的区域，把车道线中心投影到俯视图中，再对车道线进行视觉跟踪处理，将跟踪成功的车道线的俯视图坐标转化到原图坐标；

步骤4，利用单目测距方法结合车道线的原图坐标和行驶数据对车道线进行重建；

步骤5，对车道线进行融合更新。

本发明还同时提出一种支持高精度地图车道线实时融合更新的系统，包括：采集模块、图像处理模块、车道线跟踪模块、车道线重建模块、车道线融合更新模块。其中，各个模块的介绍具体如下：

采集模块，用于采集车辆前方道路场景的视频图像数据和车辆行驶轨迹上各个轨迹点的行驶数据。

图像处理模块，用于通过深度学习对视频图像数据进行场景分割，提取场景中的物体和物体类别。

车道线跟踪模块，用于根据分割结果，定位车道线在图像中的区域，把车道线中心投影到俯视图中，再对车道线进行视觉跟踪处理，将跟踪成功的车道线的俯视图坐标转化到原图坐标。

车道线重建模块，用于利用单目测距方法结合车道线的原图坐标和行驶数据对车道线进行重建。

车道线融合更新模块，用于对车道线进行融合更新。

在该实施方式中，支持高精度地图车道线实时融合更新的方法以支持高精度地图车道线实时融合更新的系统作为步骤的执行对象，也可以以系统内的各个模块作为步骤的执行对象。具体地，步骤1以采集模块作为步骤的执行对象，步骤2以图像处理模块作为步骤的执行对象，步骤3以车道线跟踪模块作为步骤的执行对象，步骤4以车道线重建模块作为步骤的执行对象，步骤5以车道线融合更新模块作为步骤的执行对象。

在步骤1中，采集模块采集车辆前方道路场景的视频图像数据和车辆行驶轨迹上各个轨迹点的行驶数据。采集模块可以包括两个部分，一部分是采集车辆前方道路场景的视频图像数据的摄像头，另一部分是采集车辆行驶轨迹上各个轨迹点的行驶数据的RTK终端设备。RTK终端设备接收卫星的授时信号，与卫星时钟保持同步，定时发送时间信息给摄像头进行时间同步，两个不同设备数据根据时间戳同步。摄像头采集的数据为带时间戳的视频，每帧为二维彩色图；RTK终端设备获取车辆行驶轨迹上各个轨迹点的行驶数据，每一轨迹点的行驶数据包括：该轨迹点的WGS-84球面坐标、航向角以及时间戳。

在步骤2中，图像处理模块通过深度学习对视频图像数据进行场景分割，提取场景中的物体和物体类别。图像处理模块分割和提取的过程具体如下：

步骤21，图像处理模块预先设置全卷积网络作为深度学习网络对视频图像数据进行场景分割。全卷积网络，又称FCN(Fully Convolutional Networks)深度学习网络，可以根据高精度地图中元素形状各异并且要求元素识别精度高的特性，来对道路场景的视频图像数据中的图像进行分割。

步骤22，图像处理模块依据预设的高精度地图要素需求，根据包括不同类型的车道线、交通灯、交通标志、车道两旁护栏和限高在内的道路元素生成深度学习样本。如图3所示，双黄线、虚线、公交车道线、道路面可以在图像处理中分别被标注为蓝色、绿色、黄色、粉色，即作为不同类别的训练样本。

步骤23，图像处理模块搭建全卷积网络生成分割模型。结合上述训练要求，图像处理模块搭建全卷积网络生成分割模型。由于利用全卷积网络进行图像分割的介绍已有很多，在此不再赘述。

步骤24，图像处理模块利用分割模型提取场景中的物体和物体类别。实线、虚线、公交车道线、道路面等被分割出来，并用不同颜色标识。每个元素的色彩表示着其所属于的道路元素的类别。

在步骤3中，车道线跟踪模块根据分割结果，定位车道线在图像中的区域，把车道线中心投影到俯视图中，再对车道线进行视觉跟踪处理，将跟踪成功的车道线的俯视图坐标转化到原图坐标。车道线跟踪模块的处理过程具体如下：

步骤31，车道线跟踪模块根据分割结果，生成保存车道线位置信息的二值图Mat_1，其中属于车道线的像素点标为第一颜色，除车道线之外的像素点的标为第二颜色。在本实施方式中，二值图Mat_1的分辨率为1920×1080，第一颜色可以是像素值为255的白色，第二颜色可以是像素值为0的黑色。

步骤32，车道线跟踪模块对二值图Mat_1进行搜索，定位车道线在图像中的区域。搜索和定位的过程具体如下：

步骤321，对二值图Mat_1进行聚类，获取聚类后的范围，并生成聚类后的范围的外接矩形。

步骤322，以生成的外接矩形为边界，依据车道线轮廓与趋势，计算出车道线的中点坐标，来定位车道线在图像中的区域。

具体地，先对二值图Mat_1进行聚类，获取聚类后的范围，并生成其外接矩形。以生成的外接矩形为边界，依据车道线轮廓与趋势，计算车道线的中点。如图4所示，以外接矩形框长方向为车道线轮廓，即车道线朝向趋势，则车道线的垂直趋势方向作为轮廓点的搜索方向，即图4中虚线为搜索轨迹，分别获取轮廓的左边坐标pt_1和右边坐标pt_2，其中pt_1坐标为(x₁，y₁)，pt_2坐标为(x₂，y₂)，则中心点，即图4中黑圆心点的坐标为

步骤33，车道线跟踪模块把车道线中心投影到俯视图Mat_2中，再对车道线进行视觉跟踪处理。车道线跟踪处理的过程如下：

步骤331，把车道线中心投影到俯视图Mat_2中，将第一颜色的点连成线line(i)；其中i＝1，2......n。俯视图Mat_2的分辨率为1080×2000，可以对颜色标示为白色的像素点连成线line(i)；其中i＝1，2......n。

步骤332，根据连续k帧的车道线数据进行车道线跟踪模型的初始化，生成跟踪线trackline(j)；其中3＜k＜10，j＝1，2......m。车道线跟踪模型的初始化主要通过统计的方式，统计出短期内，即连续k帧车道线的位置和朝向，对车道线的跟踪具有参考作用。由于视觉检测有误检，对突然出现在场景中例如如文字、数字这种干扰线状物体，能够根据跟踪线来过滤突然进入场景的干扰线。简而言之，跟踪线用于作为当前车道车道线最可能被检测到的位置。连续k帧设定是由于图像场景的连续性和帧间场景的渐变性，限定k帧则能较好统计出车道，过滤干扰。如图5所示，用一个棋盘格来做示意图，其中纵坐标Pos表示底点位置，横坐标ang方向表示角度方向。

棋盘格Pos方向以pos_interval为间隙，分割为img_height/pos_interval个区域，其中，pos_interval>100，Pos取值为0，1，2，3……，img_height表示图像高度。

ang方向以ang_interval为间隙，分割为180/ang_interval个区域，其中，ang_interval>18，ang的取值为0，1，2……。

把车道线的底点位置pos和角度ang映射到棋盘格上，并以各棋盘格为单位记录所属的车道线，其中pos格式为(x，y)，pos.y＝img_height，0≤pos.x≤img_width，0≤ang≤180，img_width表示图像宽度。

预先设置th_init≥k/2，当棋盘格中车道线的数量达到th_init时，根据该棋盘格中车道线的底点位置pos和ang初始化跟踪模型，即生成跟踪线trackline(j)，其中j＝1，2......m。

例如：取pos_interval为50，ang_interval为18，则棋盘格为10×39；当pos坐标为(120,2000)，角度为89的车道线连续出现th_init次时，满足初始化要求，创建该跟踪线，赋值坐标信息pos为(120,2000)，角度89。

步骤333，根据跟踪线trackline(j)，选取位置与跟踪线trackline(j)相差小于位置坐标变化阈值，且角度差小于角度变化阈值的线line(i)作为候选线candidate_line(s)，并记下每条跟踪线跟踪到的线tracked_line(t，c1)；其中s＝0，1，2...c，t代表跟踪线id，cl代表被跟踪到的候选线id。以pos_th表示位置坐标变化阈值，为当前帧车道线与对应跟踪线trackline坐标不一致的最大值；angle_th为角度变化阈值，为当前车道线与对应位置的跟踪线trackline角度不一致的最大值。根据跟踪线trackline(j)，选取位置与跟踪线trackline(j)相差小于pos_th且角度差小于angle_th的线line(i)作为候选线candidate_line(s)，并记下每条跟踪线跟踪到的线tracked_line(t，cl)。

步骤334，计算每条候选线candidate_line(s)的置信度。计算过程如下：

a.以最长的候选线作为基准计算每条候选线的线程的置信度。

b.以两两候选线之间的宽度，根据标准正态分布，计算候选线之间的宽度的置信度。假设两两相邻车道的宽度相似，因此，对两条线计算距离与dst_th的差，并使用概率密度函数计算两线的置信度；其中，dst_th为常规车道左右车道线间的距离，本实施方式中概率密度函数使用正态分布。宽度置信度的计算公式为：dst_conf＝(1/(sigma×sqrt(2×π)))×exp(-(x-dst_th)^2/(2×sigma^2))，其中，sigma取值10，sqrt(2×π)为求解2×π的平方根，x为两线坐标在横向的差值。

c.以两两候选线之间的角度差，根据标准正态分布，计算候选线的角度的置信度。假设两两相邻的车道线的角度相似，因此，对两条候选线计算角度差，并使用概率密度函数计算两线的置信度，本实施方式中概率密度函数使用正态分布。角度置信度的计算公式为：ang_conf＝(1/(sigma×sqrt(2×π)))×exp(-(x)^2/(2×sigma^2))，其中，sigma取值2，sqrt(2×π)为求解2×π的平方根，x为两线角度差。

d.计算候选线的底端到俯视图Mat_2底端的距离与Mat_2的高的比值，作为底点的置信度。

e.将a-d之间的各个置信度的数值求和并归一化，计算出每条候选线candidate_line(s)的置信度。

步骤335，根据置信度过滤干扰线。根据同一跟踪线位置只有一条车道线的特性，根据tracked_line(t，cl)记录中对同一t对应的多个cl，选择candidate_line(cl)中置信度高者作为该跟踪线对应的跟踪结果，并删除该跟踪线trackline(t)跟踪到的其他candidate_line(cl)。

步骤336，根据PID原理更新跟踪线trackline(j)。根据PID计算跟踪线的变化范围，修正跟踪线的角度angle以及位置pos，并用于下一次跟踪。具体如下：

a.根据公式(1)计算出pos的修正值：

Δpos＝kp*pos_err+ki*pos_integral+kd*(pos_err-pos_last_err) (1)

其中kp为PID比例控制系数，ki为时积分控制系数，kd为微分控制系数，pos_err为位置检测误差值，pos_integral为位置检测误差的积分值，pos_err-pos_last_err为位置检测误差微分值。

b.根据公式(2)计算出pos的修正后的结果：

pos_new＝pos+Δpos (2)

c.根据公式(3)计算出angle的修正值：

Δangle＝kp*angle_err+ki*angle_integral+kd*(angle_err-angle_last_err) (3)

其中，kp为PID比例控制系数，ki为时积分控制系数，kd为微分控制系数，angle_err为角度检测误差值，angle_integral为角度检测误差的积分值，angle_err-angle_last_err为角度检测误差微分值。

d.根据公式(4)计算出angle的修正后的结果

angle_new＝angle+Δangle (4)

步骤337，获得车道线视觉跟踪的结果。如图6所示，通过上述的跟踪流程可以得到两条实线和一条虚线。

步骤34，车道线跟踪模块将跟踪成功的车道线的俯视图坐标转化到原图坐标。

步骤4中，车道线重建模块利用单目测距方法结合车道线的原图坐标和行驶数据对车道线进行重建。视频图像数据为带时间戳的视频图像，行驶数据包括：该轨迹点的WGS-84球面坐标、行驶的航向角以及行驶的时间戳；则步骤4包括：

步骤41，车道线重建模块通过摄像头利用单目测距方法结合车道线的原图坐标计算出车道线上点到摄像头的相对坐标。

如图7所示为单目测距示意图，图像中点P1的摄像头坐标(X，Y)为：

Y＝h/(tan(α+arctan[(v0-v)/fy]))

X＝(u-u0)*sqrt(h^2+Y^2)/sqrt(fx^2+(v-v0)^2)

其中，α为光轴和水平地面的夹角，h为摄像头光轴距水平地面的高度，v0、u0为摄像机的内部参数，fx，fy分别为图像坐标水平与垂直方向的焦距；(X，Y)为目标相对摄像头坐标，(u，v)为目标的图像坐标。

步骤42，车道线重建模块结合行驶的航向角将轨迹点的WGS-84球面坐标转换为xy平面坐标，以视频图像数据和行驶数据二者的时间戳同步为依据计算出车道线的xy平面坐标。物体转世界坐标时需要根据方向进行计算，则可以结合行驶的航向角来进行。以时间戳同步为依据结合RTk定位终端和摄像头的相对位置、车道线上点到摄像头的相对位置计算出车道线的xy平面坐标；计算车道线的xy平面坐标(x，y)如下公式所示：

其中，θ为航向角，β为摄像头与RTK定位终端连线相对航向方向的夹角，(rtk_x，rtk_y)为RTK定位终端的xy平面坐标，(cam2rtk_x，cam2rtk_y)为摄像头对RTK定位终端的相对位置，(X，Y)为步骤41中计算得到的车道线的摄像头坐标。

步骤43，车道线重建模块对离摄像头距离超过预设距离dst的点进行过滤。由于视觉对远距离点的测距存在误差，对离摄像头距离超过dst的点进行过滤；其中，本实施方式中dst等于8m。

步骤44，重建车道线并为车道线赋予lane_id。

在步骤5中，车道线融合更新模块对车道线进行融合更新。具体地，步骤5包括：

步骤51，车道线融合更新模块将地图区域划分成若干个同等大小的网格区域。其中，网格的宽度可以为200m。

步骤52，车道线融合更新模块获取步骤4重建的车道线并使用抽稀算法分组，每组生成车道线片段。具体如下：

对车道线上的点根据空间位置进行排序；然后对排序后的点行滤波，过滤离群点；然后使用抽稀算法对排序后的点进行化简处理；再初始化车道线的其他属性，如虚实线、色彩等，每组生成车道线片段。

步骤53，车道线融合更新模块根据行驶轨迹点对应地图区域的轨迹，实时监控该网格区域是否需要更新。具体如下：

步骤531，根据RTK轨迹点定位信息判断当前所在网格，并将以该网格为中心的九个网格加入工作网格队列。

步骤532，将获取原始车道线点并将检测到的点加入到相应的工作网格中。

步骤533，根据定位信息对工作网格队列和待更新的网格队列进行监测，当工作网格队列发生变化时，将工作网格队列中消失的网格加入更新队列。如图8所示，把地图划分成若干网格区域，实心圆和三角形为不同时刻的RTK轨迹点所在的网格区域，分别选取数字1至9形成的方框和数字2、3、5、6、10至14形成的九宫格为监控区域；假设在t-1时刻，RTK轨迹点，即虚线三角形在5号格，选取1-9号网格区域加入工作网格队列进行检测；而t时刻，RTK轨迹点，即实心圆到达3号网格，按照九宫格规则，则把10-14号网格加入工作网格队列，同时把1、4、7、8、9号网格从工作网格队列剔除，加入到更新网格队列中。

步骤54，车道线融合更新模块对需要更新的网格区域，融合该网格区域内的历史车道线与新的车道线。具体如下：

步骤541，从数据库中读取当前更新网格区域的历史车道线和新检测的数据，对于网格区域中的新检测数据逐一处理。把距离历史车道线小于车道线阈值th的新检测的车道线点加入车道线点集合中，然后结合新旧车道线数据点更新车道线。其中本实施例中，车道线阈值th≤30cm。

步骤542，对于不属于任何其他历史车道线的，尝试生成新的车道线。

步骤55，车道线融合更新模块将网格区域车道线更新结果重新写入数据库。没有参与更新或生成车道线的点，在网格缓存中并写入数据库。

如图8所示，经过上述过程，可以获得如图8的地图。

本发明的实施方式中，流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，″计算机可读介质″可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明的各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (5)

1.一种支持高精度地图车道线实时融合更新的方法，其特征在于，包括：

步骤1，采集车辆前方道路场景的视频图像数据和车辆行驶轨迹上各个轨迹点的行驶数据；

步骤2，通过深度学习对视频图像数据进行场景分割，提取场景中的物体和物体类别；

步骤3，根据分割结果，定位车道线在图像中的区域，把车道线中心投影到俯视图中，再对车道线进行视觉跟踪处理，将跟踪成功的车道线的俯视图坐标转化到原图坐标；

步骤4，利用单目测距方法结合车道线的原图坐标和行驶数据对车道线进行重建；

步骤5，对车道线进行融合更新；

其中，所述步骤3包括：

步骤31，根据分割结果，生成保存车道线位置信息的二值图Mat_1，其中属于车道线的像素点标为第一颜色，除车道线之外的像素点的标为第二颜色；

步骤32，对二值图Mat_1进行搜索，定位车道线在图像中的区域；

步骤33，把车道线中心投影到俯视图Mat_2中，再对车道线进行视觉跟踪处理；

步骤34，将跟踪成功的车道线的俯视图坐标转化到原图坐标；

所述步骤33包括：

步骤331，把车道线中心投影到俯视图Mat_2中，将第一颜色的点连成线line(i)；其中i＝1,2......n；

步骤332，根据连续k帧的车道线数据进行车道线跟踪模型的初始化，生成跟踪线trackline(j)；其中3<k<10，j＝1,2......m；

步骤333，根据跟踪线trackline(j)，选取位置与跟踪线trackline(j)相差小于位置坐标变化阈值，且角度差小于角度变化阈值的线line(i)作为候选线candidate_line(s)，并记下每条跟踪线跟踪到的线tracked_line(t,cl)；其中s＝0,1,2...c，t代表跟踪线id，cl代表被跟踪到的候选线id；

步骤334，计算每条候选线candidate_line(s)的置信度；

步骤335，根据置信度过滤干扰线；

步骤336，根据PID原理更新跟踪线trackline(j)；

步骤337，获得车道线视觉跟踪的结果。

2.如权利要求1所述支持高精度地图车道线实时融合更新的方法，其特征在于，步骤2包括：

步骤21，预先设置全卷积网络作为深度学习网络对视频图像数据进行场景分割；

步骤22，依据预设的高精度地图要素需求，根据包括不同类型的车道线、交通灯、交通标志、车道两旁护栏和限高在内的元素生成深度学习样本；

步骤23，搭建全卷积网络生成分割模型；

步骤24，利用分割模型提取场景中的物体和物体类别。

3.如权利要求1所述支持高精度地图车道线实时融合更新的方法，其特征在于，步骤32包括：

步骤321，对二值图Mat_1进行聚类，获取聚类后的范围，并生成聚类后的范围的外接矩形；

步骤322，以生成的外接矩形为边界，依据车道线轮廓与趋势，计算出车道线的中点坐标，来定位车道线在图像中的区域。

4.如权利要求1所述支持高精度地图车道线实时融合更新的方法，其特征在于，视频图像数据为带时间戳的视频图像，行驶数据包括：该轨迹点的WGS-84球面坐标、行驶的航向角以及行驶的时间戳；则步骤4包括：

步骤41，通过摄像头利用单目测距方法结合车道线的原图坐标计算出车道线上点到摄像头的相对坐标；

步骤42，结合行驶的航向角将轨迹点的WGS-84球面坐标转换为xy平面坐标，以视频图像数据和行驶数据二者的时间戳同步为依据计算出车道线的xy平面坐标；

步骤43，对离摄像头距离超过预设距离dst的点进行过滤；

步骤44，重建车道线并为车道线赋予lane_id。

5.如权利要求1所述支持高精度地图车道线实时融合更新的方法，其特征在于，步骤5包括：

步骤51，将地图区域划分成若干个同等大小的网格区域；

步骤52，获取步骤4重建的车道线并使用抽稀算法分组，每组生成车道线片段；

步骤53，根据行驶轨迹点对应地图区域的轨迹，实时监控该网格区域是否需要更新；

步骤54，对需要更新的网格区域，融合该网格区域内的历史车道线与新的车道线；

步骤55，将网格区域车道线更新结果重新写入数据库。

Images