CN108388641A

CN108388641A - 一种基于深度学习的交通设施地图生成方法与系统

Info

Publication number: CN108388641A
Application number: CN201810160545.7A
Authority: CN
Inventors: 罗东华; 项文华
Original assignee: GUANGDONG FUNDWAY TECHNOLOGY Co Ltd
Current assignee: GUANGDONG FUNDWAY TECHNOLOGY Co Ltd
Priority date: 2018-02-27
Filing date: 2018-02-27
Publication date: 2018-08-10
Anticipated expiration: 2038-02-27
Also published as: CN108388641B

Abstract

本发明公开了一种基于深度学习的交通设施地图生成方法与系统，方法包括：采集车采集道路街景图；将采集车采集到的道路街景图进行预处理，得到预处理后的俯视图；采用预训练的交通设施识别模型对预处理后的俯视图进行自动识别，其中，预训练的交通设施识别模型采用Faster RCNN卷积神经网络训练得到；根据自动识别的结果自动生成车道级的精细化地图。本发明采用了基于Faster RCNN卷积神经网络的深度学习技术来自动识别交通设施，鲁棒性好，计算开销小，识别精度高；能根据自动识别的结果自动生成车道级的精细化地图，与传统绘图人员手工绘制的方式相比，耗时短且效率高。本发明可广泛应用于图像处理与地图测绘领域。

Description

一种基于深度学习的交通设施地图生成方法与系统

技术领域

本发明涉及图像处理与地图测绘领域，尤其是一种基于深度学习的交通设施地图生成方法与系统。

背景技术

电子地图在车辆导航系统中的广泛应用推动各个国家开展了多尺度、高精度导航数据的研制和生产。目前较成熟的导航数据都是基于车道级地图的，但随着智能交通系统(ITS)、高级驾驶辅助系统(ADAS)、智能车等应用的发展，对导航地图数据提出了更高精度、更精细化的要求。许多应用需要使用高精度的电子地图，例如使用先验地图信息进行定位，高级驾驶辅助系统，以及车道级路径规划。高精细地图是指高精度、精细化定义的地图，精度需要达到分米级来区分各个车道。随着全球定位系统的发展，高精度的定位已经成为可能。而精细化定义，则需要格式化存储交通场景中的各种交通要素，包括传统地图的道路网数据、车道网络数据、车道线以及交通标志等。

而在高精细地图，尤其是包含路面交通标志等交通设施的高精细地图的绘制过程中，交通设施的正确识别是前提和关键。目前的交通设施识别常用的方法主要包括基于形状的识别方法以及特征提取与分类器结合的方法这两种。基于形状的识别方法鲁棒性较差，复杂环境中效果不佳。特征提取与分类器结合的方法识别效果较好，但计算开销大，环境适应能力比较差。

此外，目前车道级的精细化地图大多是由绘图人员手工绘制的，耗时长且绘图效率低。

发明内容

为解决上述技术问题，本发明的目的在于：提供一种精度高、计算开销小和效率高的基于深度学习的交通设施地图生成方法与系统。

本发明所采取的第一技术方案是：

一种基于深度学习的交通设施地图生成方法，包括以下步骤：

采集车采集道路街景图；

将采集车采集到的道路街景图进行预处理，得到预处理后的俯视图；

采用预训练的交通设施识别模型对预处理后的俯视图进行自动识别，其中，预训练的交通设施识别模型采用Faster RCNN卷积神经网络训练得到；

根据自动识别的结果自动生成车道级的精细化地图。

进一步，所述交通设施包括道路标线、车道转向标志、绿化带、斑马线、公交车站和护栏。

进一步，所述将采集车采集到的道路街景图进行预处理，得到预处理后的俯视图这一步骤，具体包括：

将采集车采集到的道路街景图进行标定并采用透视变换转换成相应的俯视图；

从转换成的俯视图中裁剪出采集车车头近端的部分作为预处理后的俯视图。

进一步，所述采用预训练的交通设施识别模型对预处理后的俯视图进行自动识别这一步骤，具体包括：

采用Faster RCNN卷积神经网络和给定的样本进行训练，得到预训练的交通设施识别模型；

将预处理后的俯视图输入预训练的交通设施识别模型进行自动识别，得到识别的结果。

进一步，所述采用Faster RCNN卷积神经网络和给定的样本进行训练，得到预训练的交通设施识别模型这一步骤，具体包括：

获取训练样本的俯视图；

在训练样本的俯视图中按照VOC2007数据集的格式分类标记出各种交通设施，得到标记好的训练样本；

采用Faster RCNN+VGG16网络对标记好的训练样本进行训练，得到预训练的交通设施识别模型。

进一步，所述将预处理后的俯视图输入预训练的交通设施识别模型进行自动识别，得到识别的结果这一步骤，具体包括：

根据采集车采集街景图时的航向角信息将定位错误的采集点从预处理后的俯视图中剔除，得到剔除后的俯视图；

按采集车的行进方向采用预训练的交通设施识别模型对剔除后的俯视图进行自动识别；

将自动识别的结果按照道路街景图采集的顺序以预定的格式进行保存。

进一步，所述根据自动识别的结果自动生成车道级的精细化地图这一步骤，具体包括：

将自动识别的结果进行去冗余，得到去冗余后的结果；

将去冗余后的结果导入交通设施管理系统，自动生成车道级的精细化地图。

进一步，所述将自动识别的结果进行去冗余，得到去冗余后的结果这一步骤，具体包括：

以采集车车头在采集到的图片中对应的位置为原点，建立右手坐标系；

将采集到的前后两张图片的经纬度坐标(Lat1,Lon1)和(Lat2,Lon2)代入MatLab的distance函数，求得相应的测地线弧长，其中，Lat1和Lat2分别为采集到的前后两张图片纬度坐标，Lon1和Lon2分别为采集到的前后两张图片经度坐标；

根据测地线弧长计算采集到的前后两张图片的实际距离，所述采集到的前后两张图片的实际距离YDistance的计算公式为：YDistance＝ARCLEN/180*pi*6378.1*1000，其中ARCLEN为测地线弧长，pi为圆周率；

通过标定获得转换成俯视图之后的图片每像素代表的实际距离k；

根据右手坐标系和每像素代表的实际距离，计算出对应目标分别距离采集到的前后两张图片底部的实际距离，所述对应目标分别距离采集到的前后两张图片底部的实际距离Y1和Y1的计算公式为：Y1＝y1*k、Y2＝y2*k，其中y1和y2分别为右手坐标系中对应目标距离采集到的前后两张图片底部的距离；

判断采集到的前后两张图片是否目标类型相同且满足Y2+YDistance-M1≤Y1≤Y2+YDistance+M1，若是，则去除前一张图片的目标并保留后一张图片的目标，反之，则执行将去冗余后的结果导入交通设施管理系统，自动生成车道级的精细化地图这一步骤，其中，M1为预设的阈值。

本发明所采取的第二技术方案是：

一种基于深度学习的交通设施地图生成系统，包括：

采集模块，用于采集车采集道路街景图；

预处理模块，用于将采集车采集到的道路街景图进行预处理，得到预处理后的俯视图；

自动识别模块，用于采用预训练的交通设施识别模型对预处理后的俯视图进行自动识别，其中，预训练的交通设施识别模型采用Faster RCNN卷积神经网络训练得到；

精细化地图生成模块，用于根据自动识别的结果自动生成车道级的精细化地图。

本发明所采取的第三技术方案是：

一种基于深度学习的交通设施地图生成系统，包括：

存储器，用于存储程序；

处理器，用于加载所述程序以执行如第一技术方案所述的交通设施地图生成方法。

本发明的有益效果是：本发明一种基于深度学习的交通设施地图生成方法及系统，采用预训练的交通设施识别模型对预处理后的俯视图进行自动识别，预训练的交通设施识别模型采用Faster RCNN卷积神经网络训练得到，采用了基于Faster RCNN卷积神经网络的深度学习技术来自动识别交通设施，鲁棒性好，计算开销小，识别精度高；能根据自动识别的结果自动生成车道级的精细化地图，与传统绘图人员手工绘制的方式相比，耗时短且效率高。

附图说明

图1为本发明一种基于深度学习的交通设施地图生成方法的整体流程图；

图2为本发明的一种优选实施例的流程图；

图3为本发明交通设施识别的一种具体实现流程图；

图4为采集车采集到的一幅道路街景图；

图5为图4的标定点选择示意图；

图6为图4裁剪后的俯视图；

图7为采集车的两侧定位位置示意图；

图8为图6的交通设施识别结果图；

图9为采集车采集到的前一张图片；

图10为采集车采集到的后一张图片；

图11为目标距离采集到的前一张图片底部的距离示意图；

图12为目标距离采集到的后一张图片底部的距离示意图；

图13为交通设施管理系统的界面示意图；

图14为交通设施管理系统自动生成的车道级精细化地图；

图15为最终生成的车道级精细化地图。

具体实施方式

参照图1，一种基于深度学习的交通设施地图生成方法，包括以下步骤：

采集车采集道路街景图；

根据自动识别的结果自动生成车道级的精细化地图。

进一步作为优选的实施方式，所述交通设施包括道路标线、车道转向标志、绿化带、斑马线、公交车站和护栏。

进一步作为优选的实施方式，所述将采集车采集到的道路街景图进行预处理，得到预处理后的俯视图这一步骤，具体包括：

其中，采集车车头近端的部分，是指俯视图中与采集车车头的距离在预设的距离阈值内的部分。

进一步作为优选的实施方式，所述采用预训练的交通设施识别模型对预处理后的俯视图进行自动识别这一步骤，具体包括：

进一步作为优选的实施方式，所述采用Faster RCNN卷积神经网络和给定的样本进行训练，得到预训练的交通设施识别模型这一步骤，具体包括：

获取训练样本的俯视图；

进一步作为优选的实施方式，所述将预处理后的俯视图输入预训练的交通设施识别模型进行自动识别，得到识别的结果这一步骤，具体包括：

其中，根据采集车采集街景图时的航向角信息将定位错误的采集点从预处理后的俯视图中剔除，目的是判断哪些采集点属于同一边，以剔除由于GPS等定位误差导致的采集点定位错误，进一步提升了精度。

进一步作为优选的实施方式，所述根据自动识别的结果自动生成车道级的精细化地图这一步骤，具体包括：

将自动识别的结果进行去冗余，得到去冗余后的结果；

其中，去冗余是为了解决同一条道路上下行双向采集之后造成的数据重复问题，进一步提升了精度。

进一步作为优选的实施方式，所述将自动识别的结果进行去冗余，得到去冗余后的结果这一步骤，具体包括：

根据右手坐标系和每像素代表的实际距离，计算出对应目标分别距离采集到的前后两张图片底部的实际距离，所述对应目标分别距离采集到的前后两张图片底部(即y＝0所在的轴)的实际距离Y1和Y1的计算公式为：Y1＝y1*k、Y2＝y2*k，其中y1和y2分别为右手坐标系中对应目标距离采集到的前后两张图片底部的距离；

其中，目标即为各种交通设施。前后两张图片的经纬度坐标可由GPS定位系统等位置定位系统在采集车采集图片的同时给出。

与图1的方法相对应，本发明一种基于深度学习的交通设施地图生成系统，包括：

采集模块，用于采集车采集道路街景图；

存储器，用于存储程序；

处理器，用于加载所述程序以执行本发明所述的交通设施地图生成方法。

下面结合说明书附图和具体实施例对本发明作进一步解释和说明。

如图2所示，本实施例提出了一种基于深度学习的交通设施地图生成的方法，能减少人工画图所需的时间，提高画图效率和精度。如图2和图3所示，该方法的具体实现过程主要分为四步：第一步、采集车采集道路街景图；第二步、图像预处理，将采集车采集到的图片转换成俯视图，去掉俯视投影中距离太远，形变太大的部分，保留采集车车头前端失真较小的部分；第三步、使用Faster RCNN目标检测网络对道路标线、车道转向标志、道路绿化带等交通设施进行自动识别，生成特定格式的文档；第四步、将生成的文档导入交通设施管理系统，生成车道级精细化地图。

具体地，本实施例的交通设施地图生成的方法主要包括：

(1)采集车采集道路街景图，根据采集时间命名采集到的图片并由GPS定位系统等位置定位系统获取相应的经纬度坐标。

本实施例采集车采集的道路街景图可如图4所示。

(2)将采集车采集到的街景图通过标定使用透视变换转换成俯视图，并裁剪出采集车车头近端形变不大的部分。

本实施例在进行标定时可选择如图5所示的标定点(即图5中红色圆圈处的点)。而根据图5选取的标定点进行透视变换转换成俯视图，并裁剪出采集车车头近端形变不大的部分后，可得到如图6所示裁剪后的俯视图。

(3)将裁剪后的俯视图通过人工或自动方式进行标记，按照VOC2007数据集的格式分类标记出道路上的各种标线、道路转向标志、绿化带和斑马线等交通设施；然后将标记好的样本使用如图3所示的Faster RCNN+VGG16网络进行训练，训练出能检测各种交通设施的模型。

(4)根据采集车采集街景图时的航向角信息判断哪些采集点属于同一边，以剔除由于GPS等定位误差而导致的采集点定位错误，便于后续的去冗余操作。

如图7所示，红色点代表道路一侧的采集车定位位置，而绿色点代表道路另一侧的采集车定位位置，黑色线代表道路中心线。

(5)按照采集车行进的方向对裁剪后的俯视图使用(3)中生成的模型进行自动识别，并将识别结果按照图片采集的顺序以预定的格式保存下来。

如图8所示，使用(3)中生成的模型可准确识别出转换成俯视图之后相对清晰的左侧绿化带、右侧绿化带、虚线、实线、公交车站、直行箭头以及左转+掉头箭头等交通设施信息。

(6)将识别结果去冗余后导入到交通设施管理系统，生成车道级的精细化地图。

如图2所示，此过程可进一步细分为以下步骤：

1)将自动识别的结果进行去冗余，得到去冗余后的结果。

对比图9和图10采集到的前后两张图片可知，这两张图片明显存在冗余的信息，需要进行去冗余操作。

为解决同一条道路上下行双向采集之后造成的数据重复问题，本实施例根据采集车采集到的图片前后顺序以及前后两张图片的经纬度坐标计算直线距离，然后根据计算的距离去除冗余的交通设施，具体去冗余过程如下：

a.以采集车车头在图片对应的位置为原点，按照右手坐标系建立坐标。

b.将采集到的前后两张图片的经纬度坐标(Lat1,Lon1)(Lat2,Lon2)代入MatLab的distance函数，可以求得相应的测地线弧长ARCLEN，然后通过ARCLEN可以求得前后两张图片的实际距离YDistance＝ARCLEN/180*pi*6378.1*1000。

其中，前后两张图片的经纬度坐标可由GPS定位系统等位置定位系统在采集车采集图片的同时给出。

c.通过标定可以获得转换成俯视图之后的图片每像素代表的实际距离k，而通过每像素代表的实际距离可以算出对应目标距离图片底部(即y＝0所在的轴)的实际距离Y1＝y1*k、Y2＝y2*k。其中，y1和y2分别如图11和图12所示。

d.如果目标类型相同并且Y2+YDistance-阈值M1≤Y1≤Y2+YDistance+阈值M1，则表明当前目标为冗余目标，此时需要去除前一张图片的目标，只保留后一张图片的目标；否则直接执行下一步骤2)。

2)将去冗余后的结果导入交通设施管理系统，自动生成车道级的精细化地图。

其中，交通设施管理系统的界面如图13所示，可以对交通设施进行增删改等操作，实现了道路交通设施的信息化管理。将去冗余后的结果导入交通设施管理系统后可自动生成图14所示的车道级精细化地图。

(7)人工将自动生成的车道级精细化地图和对应位置的图像信息进行比对，找出错误的地方并进行更正。

人工更正的目的是进一步减少精细化地图的误差。如图15所示，可对图14中缺失的标志线进行补全并对错误的地方进行手工更正，最终得到图15所示的车道级精细化地图。

综上所述，本发明一种基于深度学习的交通设施地图生成方法与系统，根据采集车采集的道路全景图，自动生成裁剪好的俯视图，然后使用深度学习技术自动识别俯视图中的道路标线、车道转向标志、绿化带、斑马线、公交车站、护栏等各种交通设施，再将自动识别的结果去冗余后导入交通设施管理系统，自动生成可用于微观交通仿真的车道级精细化地图，减少了地图绘制人员手工绘制地图的时间，提高了工作效率。此外，本发明还利用了前后两张图片的GPS等定位信息计算实际直线距离，然后根据距离的相关关系去除相邻两张图片的冗余交通设施，更加可靠，精度更高。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims

1.一种基于深度学习的交通设施地图生成方法，其特征在于：包括以下步骤：

采集车采集道路街景图；

根据自动识别的结果自动生成车道级的精细化地图。

2.根据权利要求1所述的一种基于深度学习的交通设施地图生成方法，其特征在于：所述交通设施包括道路标线、车道转向标志、绿化带、斑马线、公交车站和护栏。

3.根据权利要求1所述的一种基于深度学习的交通设施地图生成方法，其特征在于：所述将采集车采集到的道路街景图进行预处理，得到预处理后的俯视图这一步骤，具体包括：

4.根据权利要求1所述的一种基于深度学习的交通设施地图生成方法，其特征在于：所述采用预训练的交通设施识别模型对预处理后的俯视图进行自动识别这一步骤，具体包括：

5.根据权利要求4所述的一种基于深度学习的交通设施地图生成方法，其特征在于：所述采用Faster RCNN卷积神经网络和给定的样本进行训练，得到预训练的交通设施识别模型这一步骤，具体包括：

获取训练样本的俯视图；

6.根据权利要求4所述的一种基于深度学习的交通设施地图生成方法，其特征在于：所述将预处理后的俯视图输入预训练的交通设施识别模型进行自动识别，得到识别的结果这一步骤，具体包括：

7.根据权利要求1所述的一种基于深度学习的交通设施地图生成方法，其特征在于：所述根据自动识别的结果自动生成车道级的精细化地图这一步骤，具体包括：

将自动识别的结果进行去冗余，得到去冗余后的结果；

8.根据权利要求7所述的一种基于深度学习的交通设施地图生成方法，其特征在于：所述将自动识别的结果进行去冗余，得到去冗余后的结果这一步骤，具体包括：

9.一种基于深度学习的交通设施地图生成系统，其特征在于：包括：

采集模块，用于采集车采集道路街景图；

10.一种基于深度学习的交通设施地图生成系统，其特征在于：包括：

存储器，用于存储程序；

处理器，用于加载所述程序以执行如权利要求1-8任一项所述的交通设施地图生成方法。