CN116152448A - 一种基于图像数据进行道路元素矢量化提取的方法 - Google Patents

Abstract

本发明公开了一种基于图像数据进行道路元素矢量化提取的方法。首先利用图像数据进行三维重建，恢复出不同相机之间的相对位姿，和场景稀疏点云，同时优化出相机内参；接着利用采集的图像GPS数据，对重建的相机位姿，稀疏点云进行对齐，得到世界尺度下的稀疏模型；然后利用车道线分割模型和停止线分割模型对每张图像场景进行分割，得到二维场景下道路元素的位置信息；最后利用已知的恢复出的相机位姿和相机内参，结合分割出的二维场景信息，重建出三维车道线和车道面信息。并使用矢量化方法对重建出的三维数据进行矢量化。实验在真实场景数据下进行，实验结果表明本发明可以在真实场景下进行道路元素的矢量化提取。

Description

一种基于图像数据进行道路元素矢量化提取的方法

技术领域

本发明属于信息技术领域，涉及一种应用在自动驾驶或者高精地图构建中的道路元素矢量化提取方法，具体涉及一种基于图像数据进行道路元素矢量化提取的方法。

背景技术

自动驾驶已经逐渐走进现代人们的生活，其不仅能缓解司机的驾驶疲劳，还能将司机从每天漫长的通勤时间中解放出来，处理更多有意义的事情。而目前自动驾驶技术还主要依赖于城市高精地图数据，可以说，高精地图数据的质量很大程度上决定了自动驾驶算法的性能。高精地图的构建通常使用多传感器融合的方案，包括GPS，轮式里程计，相机，激光雷达，IMU等，其绝对位置精度能接近1m，相对位置精度在厘米级别，通常能够到达10-20cm。高精地图能准确和全面的表征道路特征，通常可以分为两个层级：静态高精地图和动态高精地图。静态高精地图因为含有语义信息的车道模型，道路部件，道路属性，以及多传感器定位的特征图层等要素，成为高精地图的研发重点。

主流的静态高精地图构建方法往往需要使用多传感器融合的方案，将采集到的多种传感器数据进行融合处理，得到场景点云特征与底图数据，并对得到的点云数据进行元素识别，元素分类等操作，再经由人工验证检验车道线、信号灯、信号牌等要素，最后经过产品编译得到高精地图。通常来讲，高精地图需要关注的道路元素有道路边界、车道左边界、车道右边界、车道中心线、车道类型、车道线类型、车道方向信息、车道转向类型、车道长度等。路口元素有路口边界、路口内虚拟车道等。交通信号元素则是包含红绿灯、其他道路标牌。除此之外，还有许多道路对象元素，包括人行横道、禁止停车区、停止线、路缘石、路面箭头、路面文字、护栏、路灯、龙门架，减速带等。

使用多传感器融合的静态地图构建方法尽管能够综合各个数据的特点，将采集的多样数据利用起来绘制出高精地图。但是使用多传感采集设备成本高昂，尤其是搭载的激光雷达，成本可至数万美元。且不同传感器之间的参数标定较为复杂。因此只适合于拥有雄厚资金的大企业使用高精车进行作业，也限制了地图的更新频率(需要有高精车经过相应路段采集数据)。近些年来，行业中有部分公司开始使用基于纯视觉的方案进行高精地图数据的采集及恢复，从而替代激光雷达，大幅度降低高精地图数据采集和制作成本，进而让众包模式采集更新地图真正成为可落地的商业发展模式。尽管纯视觉方案在单一技术精度上稍逊于激光-相机融合方案，从长远的角度来讲，一旦涉及到大量的、大范围数据，再加上众包模式带来的效益收益，整体精度可能会超过激光雷达为主的多传感器融合方案。

发明内容

基于对激光雷达为主导的道路元素矢量化提取方案存在种种不足的技术问题，本发明提出了一种基于图像数据进行道路元素矢量化提取的方法，通过使用车辆采集的图片和对应的GPS数据进行三维重建和场景分割，最终恢复出所在场景道路元素矢量信息。

本发明提出的一种基于图像数据进行道路元素矢量化提取的方法，包括包括如下步骤：

S1,对图像数据进行语义分割，得到滤除车辆、行人、自行车等动态物体的动态掩码；

S2，利用图像数据和动态掩码进行场景稀疏重建，从而提取图像特征点，得到图像之间匹配关系，恢复出场景相机位姿，重建出场景稀疏点云，优化出相机内参；

S3，利用每张图像对应的GPS数据对稀疏重建出的结果进行对齐，即将稀疏场景对应到真实场景中的大地坐标系下，还原真实尺度下的相机位姿势，点云关系；

S4，将大地坐标对齐之后的稀疏重建结果进行曼哈顿对齐，使车辆运行平面始终与y轴坐标保持稳定，车辆行进方向对应x轴或者Z 轴；

S5，使用曼哈顿对齐之后的稀疏重建结果进行场景稠密重建，进而恢复出场景稠密点云；

S6，对场景稠密点云进行分析，分离出车道面点云数据，并计算出其法向向量，质心坐标等数据；

S7，使用车道线分割模型和停止线分割模型对场景中所有的的图像数据做语义分割，分离出二维图像上不同车道线的像素信息；

S8，利用已知的相机位姿，相机内参数，车道面参数，和车道线及停止线信息，使用反投影变换在三维空间中构建出不同车道线，路缘石，停止线的数学表达；

S9，使用聚合算法将构建的不同车道的车道线、路缘石、及停止线进行筛除、过滤、整合，得到当前场景下融合之后的不同车道线、路缘石、停止线的数学模型；

S10，使用可视化工具，结合车道面信息，以及融合之后的车道线、路缘石、停止线模型，绘制出当前场景下的道路元素矢量模型。

本发明中的有益效果为：

本发明仅使用图像数据和其对应的GPS数据进行图像位姿的恢复和场景结构的重建，再结合对道路交通元素的分割结果实现道路交通元素的矢量化。从而避免了激光雷达等其他传感器的使用，有效降低成本。

附图说明

图1为本发明提出的一种基于图像数据进行道路元素矢量化提取的方法的整体流程图；

图2为稀疏场景尚未与大地坐标对齐状态下本发明使用的图像数据恢复出的稀疏重建场景效果图；

图3为在与大地坐标对齐并进行过曼哈顿对齐之后的稀疏重建结果基础上得到的携带有稠密的道路点云信息的稠密重建结果图；

图4为本发明生成的不同语义分割结果示意图；

图5为本发明最终生成的聚合之后的车道线结果图；

图6为本发明最终生成的道路元素矢量化结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

图1是本发明的基于图像数据进行道路元素矢量化提取方法的流程图，包括以下步骤：

1.数据准备阶段，提供图片的动态物体掩码，以及图片对应的大地坐标，用于稀疏重建和模型对齐。

1.1.训练出一个用于分割道路动态物体，如各类汽车，行人，自行车，电动车的语义分割模型。用于提高图像之间的匹配精度，最终提升三维重建结果的鲁棒性。

1.2.使用训练出的动态分割模型产生每张图片下的动态物体掩码，并和原图片一起作为三维重建方法输入。动态物体掩码的数据形式为单通道图像，其中动态物体区域值为0，可视化为黑色，其他区域值为255，可视化为白色。数学表达形式为：

其中M表示动态掩码模型，I表示输入图像，图3中标注了动态掩码的示例结果。

1.3.由获取的每张图像的GPS位置信息，转换到大地坐标系下，即使用X-Y-Z坐标轴表示，作为后续模型尺度对齐的参考。

2.重建阶段首先进行稀疏重建，利用原始图像和动态物体掩码作为输入，提取特征，匹配，优化出最后的相机位姿，特征点云，相机内参等。此时的稀疏重建模型由于尺度不确定，并不能代表世界尺度下的场景关系。因此使用稀疏重建下生成的模型和预处理好的大地坐标系下图像坐标对齐，恢复真实尺度的稀疏重建模型。恢复真实尺度的稀疏模型可能存在坐标轴与曼哈顿世界不匹配的情况，因此还需要通过寻找图像中的灭点进行曼哈顿对齐。对齐之后的结果能保持Y轴与车辆行进的平面垂直，而车辆行进朝向的方向对应X轴或Z轴。基于曼哈顿对齐之后稀疏重建结果进行稠密重建，生成当前场景下的稠密点云信息，从而包含更多的场景元素。

2.1恢复无尺度信息的稀疏点云结果，包含相机内参数信息。

2.2利用无尺度的相机位姿与已知大地坐标系坐标的图像坐标进行对齐得到变换矩阵，以及缩放因子。

位姿变换公式如下：

r_r＝sR(r_l)+T

其中R表示旋转矩阵，s表示缩放因子，T表示平移向量。r_r表示变换到世界尺度下的场景坐标，r_l表示原无尺度的稀疏场景信息。三个量采用Horn方法进行求解。

2.3.提取每个图像中的灭点，对世界尺度下对齐的模型实施曼哈顿对齐。获得的稀疏模型结果如图2所示。

2.4.使用进行曼哈顿对齐之后的稀疏重建模型进行稠密重建，恢复出场景稠密点云，示例结果如图3所示。

3.使用点云裁剪的方式将稠密点云中的道路路面点云部分恢复出来，并采取主成分分析法获得道路部分点云平面法向量与质心参数。除此之外，训练一个包含路缘石的车道线分割模型和一个停止线分割模型，用于分割出图像二维像素信息。具体分割内容如图1所示：蓝色线段表示路缘石分割，路缘石定义为设在路面与其他构造物之间的标石。在城市道路的分隔带与路面之间、人行道与路面之间一般都需设路缘石，在公路的中央分隔带边缘、行车道右侧边缘或路肩外侧边缘常需设路缘石；两测路缘石中间含有多条车道线的分割结果，按照虚实、颜色可以分为黄色实线、黄色虚线、白色实线、白色虚线等；停止线表示红绿灯路口前白色实线，用红色线段表示出来。之后使用停止线滤除算法对模型预测的停止线进行确认，从而过滤掉多余的误检线段。获取所有的2D分割结果之后便是反投影步骤，需要将2D分割线段结果反投影到道路点云平面确定的平面上，并进行车道线聚合等操作滤除3D空间中的异常线段，合并相邻线段。最后是获得车道线、路缘石、以及停止线在当前场景下的数学表达，并进行可视化。

3.1裁剪点云获取车道面法向量和质心坐标。

3.2使用路缘石、车道线以及停止线分割模型分割出场景中路缘石、车道线以及停止线，并使用若干采样点的方式进行线段表示。

3.3利用已知的相机位姿，相机内参、线段像素坐标以及道路平面参数，可以将线段图像坐标反投影到道路平面上。具体的方法为，首先将线段像素坐标转换到相机坐标系下，利用以下公式：

表示线段的像素坐标，利用相机内参矩阵/>

可获得该点在相机坐标系下的坐标，再利用相机位姿矩阵/>

将相机坐标系下的相机原点O和线段点X坐标转换到世界坐标系下变成原点O‘和线段点X‘，由这两点构成的射线O‘X‘与道路平面α相交的点便是该2D线段投影点在世界坐标系下的坐标。使用该方法可以讲所有2D 分割线段反投影到道路平面上。

3.4对反投影的众多车道线、路缘线、停止线按类别进行过滤剔除，去除距离过远或斜率异常的空间线段。呈现结果如图5所示。

3.5对于检测出的停止线，进行一次停止线检查，具体方法为：首先使用透视变换矩阵将车载相机视角图像转换成鸟瞰图视角图像，令停止线在鸟瞰图视角中呈现于图像水平方向；接着同样使用透视变换矩阵将车载相机视角的停止线坐标转换到鸟瞰图视角下，并在该坐标以下区域使用模版匹配的方式匹配预设好的白色箭头，若匹配数量大于预设阈值，则该停止线预测为正确检测结果，若匹配数量小于预设阈值，则舍弃该停止线预测结果。

3.6最后对不同类型的线段类型进行综合运算，得到路缘石、车道线、停止线的数学模型，并使用预设好的绘制模型进行3D绘制，呈现出矢量化的道路元素结果，如图6所示。

实验结果表明本发明的方法可以在特定场景下使用图像数据实现道路元素的矢量化提取。

基于同一发明构思，本发明的另一实施例提供一种电子装置(计算机、服务器、智能手机等)，其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行本发明方法中各步骤的指令。

基于同一发明构思，本发明的另一实施例提供一种计算机可读存储介质(如ROM/RAM、磁盘、光盘)，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现本发明方法的各个步骤。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (1)

1.一种基于图像数据进行道路元素矢量化提取的方法，其特征在于，包括如下步骤：

S1,对图像数据进行语义分割，得到滤除车辆、行人、自行车等动态物体的动态掩码；

S2，利用图像数据和动态掩码进行场景稀疏重建，从而提取图像特征点，得到图像之间匹配关系，恢复出场景相机位姿，重建出场景稀疏点云，优化出相机内参；

S3，利用每张图像对应的GPS数据对稀疏重建出的结果进行对齐，即将稀疏场景对应到真实场景中的大地坐标系下，还原真实尺度下的相机位姿势，点云关系；

S4，将大地坐标对齐之后的稀疏重建结果进行曼哈顿对齐，使车辆运行平面始终与y轴坐标保持稳定，车辆行进方向对应x轴或者Z轴；

S5，使用曼哈顿对齐之后的稀疏重建结果进行场景稠密重建，进而恢复出场景稠密点云；

S6，对场景稠密点云进行分析，分离出车道面点云数据，并计算出其法向向量，质心坐标等数据；

S7，使用车道线分割模型和停止线分割模型对场景中所有的的图像数据做语义分割，分离出二维图像上不同车道线的像素信息；

S8，利用已知的相机位姿，相机内参数，车道面参数，和车道线及停止线信息，使用反投影变换在三维空间中构建出不同车道线，路缘石，停止线的数学表达；

S9，使用聚合算法将构建的不同车道的车道线、路缘石、及停止线进行筛除、过滤、整合，得到当前场景下融合之后的不同车道线、路缘石、停止线的数学模型；

S10，使用可视化工具，结合车道面信息，以及融合之后的车道线、路缘石、停止线模型，绘制出当前场景下的道路元素矢量模型。

Images