CN111340050A - 一种地图道路全要素特征提取方法和系统 - Google Patents

Abstract

本发明属于地图数据处理技术领域，涉及一种地图道路全要素特征提取方法和系统，包括以下步骤：S1.建立全要素的道路标线要素集；S2.获取地图道路图像集，并基于道路标线要素集，在道路图像集中选取部分图像生成全要素训练数据集；S3.使用图像翻译算法对训练数据集进行训练；S4.根据经过训练的训练数据集，确定标线要素的位置和形状；S5.根据标线要素的位置和形状，生成标识了全要素道路标线的图像。其实现了道路全要素模型数据库的构建，并且通过优化网络模型，将图像翻译算法应用到高精度地图的构建技术中，推动自动驾驶高精地图技术的发展。

Description

一种地图道路全要素特征提取方法和系统

技术领域

本发明是关于一种地图道路全要素特征提取方法和系统，属于地图数据处理技术领域。

背景技术

道路作为无人驾驶高精度地图的关键组成部分，道路信息的准确提取是目前一直关注的热点问题，道路信息的提取需要道路要素特征尽可能详细、清晰和准确，但是现有的研究多数只是针对道路要素中一种或者简单几种进行提取与识别，从而导致道路信息不完整，并且目前已有算法模型也仅仅是针对某一种或者某几种道路要素进行提取。

针对道路要素提取与识别，现有技术中多采用深度学习算法，但是针对目标检测，多数深度学习算法都停留在yolo系列、FasterRCNN、SSD等相关算法，而对于图像翻译算法，较多应用于典型的图像翻译任务中，比如语义分割图像转换为真实街景图，灰色图转换为彩色图，简笔图转换为真实图，白天图片转换为夜间图像等情况，但目前尚未有将图像翻译算法应用于道路信息提取中。

发明内容

针对上述现有技术的不足，本发明的目的是提供了一种地图道路全要素特征提取方法和系统，其实现了地图道路全要素模型数据库的构建，并且通过对网络模型的优化，将图像翻译算法应用到高精度地图的构建技术中，推动自动驾驶高精地图技术的发展。

为实现上述目的，本发明提供了一种地图道路全要素特征提取方法，包括以下步骤：S1.建立全要素的道路标线要素集；S2.获取地图道路图像集，并基于道路标线要素集，在道路图像集中选取部分图像生成全要素训练数据集；S3.使用图像翻译算法对训练数据集进行训练；S4.根据经过训练的训练数据集，确定标线要素的位置和形状；S5.根据标线要素的位置和形状，生成标识了全要素道路标线的图像。

进一步，全要素的道路标线要素集根据对象类型分为图像类要素和字符类要素两类，图像类要素包括：减速标线、网状线、人行道、导向指示符、道路出入口标记和虚线；字符类要素包括：转向箭头、横向实线、长实线、字体、三角形标志、菱形标志和非机动车标志。

进一步，步骤S2中获取地图道路图像集生成全要素训练数据集的具体过程为：通过激光雷达检测器生成道路的强度特征图，并结合地图道路图像集将图像中道路标线要素的位置进行标识，将其中包括至少一个道路标线要素的图像从最初的道路图像集中分离，并生成全要素训练数据集。

进一步，全要素训练数据集在进行步骤S3之前，需要对数据集中图像进行平移、旋转、剪切、尺度调整和去噪，并通过对抗生成网络GAN和模型迁移对图像进行样本增强处理。

进一步，将经过样本增强处理的图像进行正向改进以满足图像翻译算法的要求。

进一步，正向改进步骤为：首先，将图像数据格式转换为label.png或label_viz.png格式文件；其次，将图像剪切为统一尺寸；最后，将剪切后未标记道路标线要素的图像和与其对应的标记了道路标线要素的图像合并为一张图像。

进一步，在步骤S4结束后进行图像数据反向改进，图像数据反向改进为正向改进的逆过程。

进一步，步骤S4中采用动态模拟匹配算法获取标线要素的形状，动态匹配算法需引入模板匹配数据集，将模板匹配数据集与经过训练的训练数据集中图像进行匹配，确定二者相似度，模板匹配数据集包括每个道路标线的图像、基于图像的矢量特征数据、矢量特征类别和标线的动态角度信息。

进一步，相似度MAX(NCC(x,y,θ))的计算公式是：

其中，x、y分别是三维强度虚拟特征图中标线在水平面内的横坐标和纵坐标，θ是三维强度虚拟特征图中动态角度值，i、j为模板匹配数据集的图像中标线的位置矢量；NCC(x,y,θ)为归一化互相关匹配算法的函数；

是三维强度虚拟特征图中的匹配图像；T(i,j)是模板匹配数据集中图像；

为(x,y)处匹配图像的平均灰度值；E(T)代表模板匹配数据集中图像的平均灰度值，M、N分别为模板匹配数据集的图像的横坐标和纵坐标的最大值。

本发明还公开了一种地图道路全要素特征提取系统，包括：道路标线要素集建立模块，用于建立全要素的道路标线要素集，并对其进行编码；训练数据集生成模块，用于获取地图道路图像集，并基于道路标线要素集，在道路图像集中选取部分图像生成全要素训练数据集；图像训练模块，用于使用图像翻译算法对训练数据集进行训练；位置形状确定模块，用于根据经过训练的训练数据集，确定标线要素的位置和形状；图像生成模块，根据标线要素的位置和形状，生成标识了全要素道路标线的图像。

本发明由于采取以上技术方案，其具有以下优点：

1、实现了地图道路全要素模型数据库的构建，并且通过对网络模型的优化，将图像翻译算法应用到高精度地图的构建技术中，推动自动驾驶高精地图技术的发展。

2、由于训练数据中包含全要素特征，故最终得到的图像中，也是包含全要素特征的，对于二维图像检测结果，经过模板匹配算法处理，可以获取每个要素的矢量几何特征以及属性特征。于此同时，最终较好的检测结果可以反向作为训练样本数据，经过检测无误后，添加到训练数据集中进行样本增强。

附图说明

图1是本发明一实施例中地图道路全要素特征提取方法的流程图；

图2是本发明一实施例中地图道路全要素特征提取方法最终获得的图像。

具体实施方式

为了使本领域技术人员更好的理解本发明的技术方向，通过具体实施例对本发明进行详细的描绘。然而应当理解，具体实施方式的提供仅为了更好地理解本发明，它们不应该理解成对本发明的限制。在本发明的描述中，需要理解的是，所用到的术语仅仅是用于描述的目的，而不能理解为指示或暗示相对重要性。

实施例一

本实施例公开了一种地图道路全要素特征提取方法，包括以下步骤：

S1.建立全要素的道路标线要素集；

S2.获取地图道路图像集，并基于道路标线要素集，在道路图像集中选取部分图像生成全要素训练数据集；

S3.使用图像翻译算法对训练数据集进行训练；

S4.根据经过训练的训练数据集，确定标线要素的位置和形状；

S5.根据标线要素的位置和形状，生成标识了全要素道路标线的图像。

本实施例中方案实现了地图道路全要素模型数据库的构建，并且通过对网络模型的优化，将图像翻译算法应用到高精度地图的构建技术中，推动自动驾驶高精地图技术的发展。

其中，全要素的道路标线要素集主要包括13个大类与33个小类的标线，分别对每个上述大类与小类的标线进行组织与编码，道路全要素特征与编码如下

1、减速标线，包括纵向减速带与横向减速带，分别定义为：RoadMarking_DecelerationZong与RoadMarking_DecelerationHeng，类码分别为00101001与00102001，对象类型为线状要素，按照车行方向采集其中心线，并赋宽度、颜色等属性。

2、网状线，定义为RoadMarking_MeshLine，类码为00203001，对象类型为线状要素，网状线存储组合为一个整体集合。

3、人行道，定义为RoadMarking_Sidewalk，类码为00304001，对象类型为线状要素，必须保证外轮廓正确。

4、导向指示线，定义为RoadMarking_GuideIndicationLine，类码为00405001，对象类型为线状要素。

5、道路出入口标线/导流线，定义为RoadMarking_EntranceLine，类码为00506001，对象类型为线状要素。

6、箭头，包括左转箭头、右转箭头、直行箭头、直行左转箭头、直行右转箭头、向左向右转箭头、掉头箭头、直行掉头箭头和左转掉头箭头。

左转箭头，定义为RoadMarking_ArrowLineZuo，类码为00607001，对象类型为字符，并赋几何特征与属性信息；右转箭头，定义为RoadMarking_ArrowLineYou，类码为060801，对象类型为字符，并赋几何特征与属性信息；直行箭头，定义为RoadMarking_ArrowLineZhi，类码为00609001，对象类型为字符，并赋几何特征与属性信息；直行左转箭头，定义为RoadMarking_ArrowLineZhiZuo，类码为00610001，对象类型为字符，并赋几何特征与属性信息；直行右转箭头，定义为RoadMarking_ArrowLineZhiYou，类码为00611001，对象类型为字符，并赋几何特征与属性信息；向左向右转箭头，定义为RoadMarking_ArrowLineZuoYou，类码为00612001，对象类型为字符，并赋几何特征与属性信息；掉头箭头，定义为RoadMarking_ArrowLineDiao，类码为00613001，对象类型为字符，并赋几何特征与属性信息；直行掉头箭头，定义为RoadMarking_ArrowLineZhiDiao，类码为06014001，对象类型为字符，并赋几何特征与属性信息；左转掉头箭头，定义为RoadMarking_ArrowLineZuoDiao，类码为06015001，对象类型为字符，并赋几何特征与属性信息。

7、横向实线，定义为RoadMarking_TransverseSolidLine，类码为00716001，对象类型为字符，并赋几何特征与属性信息。

8、长实线，定义为RoadMarking_LongSolidLine，类码为00817001，对象类型为线状要素，存储长实线的中心线位置。

9、虚线，包括长细虚线、短细虚线和短粗虚线。长细虚线，定义为RoadMarking_DottedLineChangXi，类码为00918001，对象类型为线状要素，存储虚线的中心线位置，并赋予属性信息；短细虚线，定义为RoadMarking_DottedLineDuanXi，类码为09019001，对象类型为线状要素，存储虚线的中心线位置，并赋予属性信息；短粗虚线，定义为RoadMarking_DottedLineDuanCu，类码为00920001，对象类型为线状要素，存储虚线的中心线位置，并赋予属性信息。

10、字体，道路标线中字体较多，本实施例中将其统一定义为RoadMarking_Word，类码为01021001，对象类型为字符。

11、三角形标志，主要包括：倒三角标志，用于表示减速让行，定义为RoadMarking_Triangle，类码为01122001，对象类型为字符，并赋予属性信息。

12、菱形标志，主要包括：人行横道预告标线，定义为RoadMarking_Diamond，类码为01223001，对象类型为字符，并赋予属性信息。

13、非机动车标志，包括自行车标志，定义为RoadMarking_Bicycle，类码为01324001，对象类型为字符，并赋予属性信息。

由于需要对道路标线要素提取，故步骤S2中组成训练集的部分图像为包括至少一个上述任一种道路标线要素的图像。

由于目前已有道路标线提取与识别方法中只考虑了几种标线类型，故目前已有的数据集尚不包含全要素信息，故需要重新构建训练数据集,增加为全要素的数据集。建立全要素的数据集的具体过程为：将激光点云数据生成道路的激光强度特征图，并结合地图道路图像集将图像中道路标线要素的位置进行标识，将其中包括至少一个上述道路标线要素的图像从最初的道路图像集中分离，并生成全要素训练数据集。对于道路标线要素的标识包括识别标线要素的位置，形状和大小等信息。通常采用坐标框确定标线位置，根据激光强度特征图中的坐标图中的矢量相量确定标线要素的形状和大小。

由于图像样本制作中依据全要素特征编码统一组织与编辑。在已有的样本中，某些要素特征出现频率比较少，会导致该类特征样本在总样本中所占比例较少，直接影响该类要素特征的检测与识别的准确率，为避免这种情况，可以通过传统图像处理方法对样本数据进行平移、旋转、剪切、尺度调整、去噪等传统方法，并通过对抗生成网络GAN、模型迁移等方法进行样本增强处理。

目前已有的基于图像翻译算法的网络训练模型难以直接应用于道路标线要素提取中，故在网络训练模型对数据库进行训练前，加入图像数据适应性正向改进。其中，正向改进步骤为：首先，将图像数据格式，通常为json格式文件，转换为label.png或label_viz.png格式文件，并将未标识道路标线要素的图像和标识了道路标线要素的图像单独分开放到不同的文件夹中；其次，将图像剪切为统一尺寸，为保证统一输入尺寸，对样本图片进行剪切为1024*1024大小的图像，在剪切过程中保持10％的重叠度，并对剪切后未标识道路标线要素的图像和标识了道路标线要素的图像统一命名；最后，将剪切后未标记道路标线要素的图像和与其对应的标记了道路标线要素的图像合并为一张图像。

本实施例中采用的图像翻译算法是PIX2PIX方法，将经过正向改进的图像数据库带入基于图像翻译算法的网络训练模型中进行训练，在训练过程中，模型参数设置如下：batchsize为2，loadsize为1024，finesize为1024，niter为100，其他参数默认，通过图像翻译算法训练得到最终经过全要素道路标线的位置。该位置信息可以通过定位框框出。即采用矩形框将待识别的标线框在矩形框中，当然，定位框也可以是其他形状的框体，其形状并不限定于矩形，此外，也可以采用其他标记方法标记标线要素位置，如显示标线要素的中心点坐标等方法。

基于图像翻译算法，提取出的标线要素边界精度较低，难以直接提取高精地图要素矢量化信息，需要结合高精地图中标线要素的几何特征与标线要素的语义信息进行规则化提取方法，其不单纯依靠像素分类特征，而且将要素几何特征作为先验信息，辅助提取矢量规则化道路标线矢量信息。标线要素的形状采用动态模拟匹配算法获取。本实施例中的动态模拟匹配算法优选为：归一互相关匹配算法(NCC算法)。NCC算法是通过计算模板和待匹配图像的互相关值来确定匹配的程度。互相关值最大时的搜索窗口位置决定了模板中图像在待匹配图像中的位置。具体到本实施例中方案，动态匹配算法需引入模板匹配数据集，将模板匹配数据集与经过训练的训练集中图像进行匹配，确定二者相似度。

模板匹配数据集包括每个道路标线的图像、基于图像的矢量特征数据、矢量特征类别和标线的动态角度信息。目前已有匹配算法中，仅考虑了标线数据的长宽比例与模板匹配相似度，而忽略了旋转角度对匹配结果的影响。激光雷达数据在采集过程中的行驶路线并非直线，而是具有一定不确定度的曲线，而模板匹配数据集不考虑旋转角度的影响，会严重影响匹配结果的准确性。故本实施例中在模板匹配数据集中引入动态角度信息，使模板匹配数据集中数据与实际情况更加接近，提高了匹配算法的准确性。

三维强度虚拟特征图中的匹配图像在坐标(x,y)处的匹配相似度MAX(NCC(x,y,θ))的计算公式是：

其中，x、y分别是三维强度虚拟特征图中标线在水平面内的横坐标和纵坐标，θ是三维强度虚拟特征图中动态角度值，i、j为模板匹配数据集的图像中标线的位置矢量；NCC(x,y,θ)为归一化互相关匹配算法的函数；

是三维强度虚拟特征图中的匹配图像；T(i,j)是模板匹配数据集中图像；

为(x,y)处匹配图像的平均灰度值；E(T)代表模板匹配数据集中图像的平均灰度值，M、N分别为模板匹配数据集的图像的横坐标和纵坐标的最大值。匹配相似度MAX(NCC(x,y,θ))的值在0到1的范围内。

根据标线的位置和形状从图像中提取标线要素，生成带有标线要素的图像。

由于最终经过全要素道路标线标识的图像是未标记道路标线要素的图像和与其对应的标记了道路标线要素的图像合并而成的图像。此种图像不适宜道路标线要素的查找和检索等后续处理过程。因此，在经过图像翻译算法训练后，需要对图像数据进行反向改进。其中，反向改进是正向改进过程的逆过程。反向改进的具体过程是：首先，将未标记道路标线要素的图像和与其对应的标记了道路标线要素的图像进行分离，生成两个图像；其次，将未标记道路标线要素的图像和标记了道路标线要素的图像还原至原始尺寸；最后，将图像的格式转换为json格式文件。最终得到的地图道路全要素特征提取方法最终获得的图像如图2所示。

为了对图像进行进一步的优化，可以将最终生成的带有标线要素的图像作为训练集，带入图像翻译算法模型中进行训练。

实施例二

基于相同的发明构思，本实施例公开了一种高精度地图道路全要素特征提取系统，包括：

道路标线要素集建立模块，用于建立全要素的道路标线要素集，并对其进行编码；

训练数据集生成模块，用于获取地图道路图像集，并基于道路标线要素集，在道路图像集中选取部分图像生成全要素训练数据集；

图像训练模块，用于使用图像翻译算法对训练数据集进行训练；

位置形状确定模块，用于根据经过训练的训练数据集，确定标线要素的位置和形状；

图像生成模块，根据标线要素的位置和形状，生成标识了全要素道路标线的图像。

由于本发明训练数据集中包含全要素标线特征，故最终得到的经过全要素道路标线标识的图像中，也是包含全要素标线特征。经过模板匹配算法处理，可以获取每个要素的矢量几何特征以及属性特征。为获得精度更高的图像，可以将经过训练的图像反向作为训练样本数据，经过检测无误后，添加到训练数据集中进行样本增强。

上述内容仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种地图道路全要素特征提取方法，其特征在于，包括以下步骤：

S1.建立全要素的道路标线要素集；

S2.获取地图道路图像集，并基于所述道路标线要素集，在所述道路图像集中选取部分图像生成全要素训练数据集；

S3.使用图像翻译算法对所述训练数据集进行训练；

S4.根据经过训练的训练数据集，确定标线要素的位置和形状；

S5.根据标线要素的位置和形状，生成标识了全要素道路标线的图像。

2.如权利要求1所述的地图道路全要素特征提取方法，其特征在于，所述全要素的道路标线要素集根据对象类型分为图像类要素和字符类要素两类，所述图像类要素包括：减速标线、网状线、人行道、导向指示符、道路出入口标记和虚线；字符类要素包括：转向箭头、横向实线、长实线、字体、三角形标志、菱形标志和非机动车标志。

3.如权利要求2所述的地图道路全要素特征提取方法，其特征在于，所述步骤S2中获取地图道路图像集生成全要素训练数据集的具体过程为：通过激光雷达检测器生成道路的激光强度特征图，并结合地图道路图像集将图像中所述道路标线要素的位置进行标识，将其中包括至少一个道路标线要素的图像从最初的所述道路图像集中分离，并生成所述全要素训练数据集。

4.如权利要求3所述的地图道路全要素特征提取方法，其特征在于，所述全要素训练数据集在进行所述步骤S3之前，需要对所述数据集中图像进行平移、旋转、剪切、尺度调整和去噪，并通过对抗生成网络GAN和模型迁移对所述图像进行样本增强处理。

5.如权利要求4所述的地图道路全要素特征提取方法，其特征在于，将经过样本增强处理的图像进行正向改进以满足图像翻译算法的要求。

6.如权利要求5所述的地图道路全要素特征提取方法，其特征在于，所述正向改进步骤为：首先，将图像数据格式转换为label.png或label_viz.png格式文件；

其次，将所述图像剪切为统一尺寸；最后，将剪切后未标记道路标线要素的图像和与其对应的标记了道路标线要素的图像合并为一张图像。

7.如权利要求6所述的地图道路全要素特征提取方法，其特征在于，在所述步骤S4结束后进行图像数据反向改进，所述图像数据反向改进为所述正向改进的逆过程。

8.如权利要求1-7任一项所述的地图道路全要素特征提取方法，其特征在于，所述步骤S4中采用动态模拟匹配算法获取标线要素的形状，所述动态匹配算法需引入模板匹配数据集，将所述模板匹配数据集与经过训练的所述训练数据集中图像进行匹配，确定二者相似度，所述模板匹配数据集包括每个道路标线的图像、基于图像的矢量特征数据、矢量特征类别和标线的动态角度信息。

9.如权利要求8所述的地图道路全要素特征提取方法，其特征在于，所述相似度MAX(NCC(x,y,θ))的计算公式是：

其中，x、y分别是三维强度虚拟特征图中标线在水平面内的横坐标和纵坐标，θ是三维强度虚拟特征图中动态角度值，i、j为模板匹配数据集的图像中标线的位置矢量；NCC(x,y,θ)为归一化互相关匹配算法的函数；

是三维强度虚拟特征图中的匹配图像；T(i,j)是模板匹配数据集中图像；

为(x,y)处匹配图像的平均灰度值；E(T)代表模板匹配数据集中图像的平均灰度值，M、N分别为模板匹配数据集的图像的横坐标和纵坐标的最大值。

10.一种地图道路全要素特征提取系统，其特征在于，包括：

道路标线要素集建立模块，用于建立全要素的道路标线要素集，并对其进行编码；

训练数据集生成模块，用于获取地图道路图像集，并基于所述道路标线要素集，在所述道路图像集中选取部分图像生成全要素训练数据集；

图像训练模块，用于使用图像翻译算法对所述训练数据集进行训练；

位置形状确定模块，用于根据经过训练的训练数据集，确定标线要素的位置和形状；

图像生成模块，根据标线要素的位置和形状，生成标识了全要素道路标线的图像。

Images