CN104573733B - 一种基于高清正射影像图的高精细地图生成系统及方法 - Google Patents

Abstract

本发明提供了一种基于高清正射影像图的高精细地图生成系统及方法，该系统包括：图像拍摄模块、水平激光雷达、GPS处理模块、惯性导航模块、旋转编码器、图像及数据预处理模块以及地理信息处理模块，其中：运用车载图像拍摄模块采集道路图像，用激光雷达扫描障碍物，同时采集地理信息数据；对GPS信息进行精度上的优化；获得道路图像的正射影像图，并进行旋转、裁剪、生成对应地理信息文件操作；将全正射影像图序列与对应的地理信息文件结合并拼接，生成全局地图底图；在地图底图上标注各类地理信息数据。本发明能够生成高精细的导航地图，其数据精度可达到厘米级，对先进驾驶辅助系统和无人驾驶车辆有很高的实用价值。

Description

一种基于高清正射影像图的高精细地图生成系统及方法

技术领域

本发明涉及的是地图测绘领域，尤其是涉及一种基于高清正射影像图的高精细地图生成系统及方法。

背景技术

地图已经成为车辆日常出行不可或缺的一部分，主要用于环境查看和路径导航。但目前绝大多数常见地图只能提供道路级别精度的地理信息，驾驶者或驾驶系统无法从地图上得知当前道路车道信息以及自身处于哪一条车道，且这些地图包含的道路相关信息有限，一般仅包含部分交通标志信息大致位置信息和道路形状信息，精度低，信息量小，不能全面反映道路特征。常见地图的影像图采用卫星影像图或航拍图像，图像分辨率较低，多数仅能达到米级，不能分辨路面特征，对车道信息以及路面交通标志无法准确呈现，低分辨率也是制约地图精度提升的一个重要因素。

随着先进驾驶辅助系统和无人驾驶车辆的研发和应用，计算机智能被更多引入车辆驾驶之中，与人类驾驶员不同，计算机依赖精确数据才能完成对车辆的各种操作，普通地图无法提供足够详细和精确的数据供计算机使用，只有高精细地图才能满足需要，使用高精细地图可以有效提升先进驾驶辅助系统和无人驾驶车辆的表现。

目前高精细地图制作也存在其他方法，例如使用激光雷达，激光雷达采集信息精度高，全局性好，但成本高昂，数据量大，且生成图像为反射率图像，与现实景物存在差异,使用拍摄图像的方式则成本低廉，使用较为简便。

公开号为CN103996036A的中国专利(申请号CN201410253818.4)，该专利提供一种地图数据采集方法及装置，该装置所能提供的数据类型很有限，虽该专利技术中未明确说明，但其方法只能给出大致位置，数据精度难以达到厘米级。

发明内容

针对现有技术的不足，本发明的目的是提供一种基于高清正射影像图的高精细地图生成系统及方法，通过图像拍摄模块获取道路图像，并同时采集GPS等数据，进行处理后在地理信息处理软件中生成高精度的全局地图底图并标注道路地理信息，用于满足先进驾驶辅助系统和无人驾驶车辆等对高精细地图的需求。

为了实现上述目的，本发明采用以下技术方案：

本发明提供一种基于高清正射影像图的高精细地图生成系统，包括：

图像拍摄模块，采集同一位置车辆周围各个角度道路图像，并经图像处理算法获取道路高分辨率正射投影图像，该正射投影图像将作为图像及数据预处理模块的输入，用于生成地理信息数据标注的底图；

水平激光雷达，用于获取车辆周围障碍物位置信息，获取的信息将作为图像及数据预处理模块的输入，用于剔除被障碍物遮挡的路面部分；

GPS处理模块，用于接收GPS卫星信号，以及接收惯性导航模块数据、旋转编码器数据，接收到的GPS原始数据使用精确单点定位技术进行处理，并与惯性导航模块数据、旋转编码器数据融合，获得高精度GPS数据和车辆航向角数据，高精度的GPS数据和车辆航向角数据作为图像及数据预处理模块的输入，用于地理信息数据的标注；

惯性导航模块，接收惯性导航装置数据，并将其输入到GPS处理模块，用于与GPS数据、旋转编码器数据融合以获取高精度GPS数据，在GPS信号丢失情况下的数据推算；

旋转编码器，统计车轮旋转圈数，获取车辆里程信息，并将其输入到GPS处理模块，用于与GPS数据、旋转编码器数据融合以获取高精度GPS数据，帮助推导车辆航向角数据；

图像及数据预处理模块，接收正射投影图像、水平激光雷达数据、高精度GPS数据、车辆航向角数据，通过数据融合生成设定大小、与车辆航向相同、没有障碍物遮挡的路面新正射投影图像，并生成对应的地理信息文件，新正射投影图像和对应的地理信息文件作为输入传递给地理信息处理模块；

地理信息处理模块，接收图像及数据预处理模块传递来的新正射投影图像和对应的地理信息文件，在地理信息系统软件中生成高分辨率、高精度的道路地图底图，并在地图底图上标注一系列高精度的地理信息数据，生成高精细地图。

本发明提供一种基于高清正射影像图的高精细地图生成方法，具体步骤如下：

步骤1、在数据采集车辆上架设图像拍摄模块，该图像拍摄模块可以是全景相机，也可以是普通摄像头的组合，使用GPS接收机、惯性导航装置记录位置信息，使用安装在车轮上的旋转编码器，每检测到隔一段距离或时间，系统发送一个触发脉冲，该脉冲触发图像拍摄模块使之采集道路图像、同时该脉冲触发一次时间戳记录用于该道路图像获取对应的GPS；

步骤2、采集步骤1所述数据的同时，使用车辆四周安装的水平激光雷达，检测采集车辆周围障碍物，如其他车辆；

步骤3、对采集到的GPS原始数据使用精确单点定位技术(PPP)处理，得到高精度GPS数据，同时使用扩展卡尔曼滤波器融合GPS原始数据、惯性导航装置数据、编码器数据，得到精确的车辆航向角数据及GPS信号失效区域的GPS数据，用于对应特定道路图像；

步骤4、对道路图像进行处理，根据图像拍摄模块水平偏角以及俯仰角数据获取对应的正射影像图，结合之前得到的车辆航向角数据，对正射影像图进行旋转，再对旋转后正射影像图进行裁剪，裁剪掉旋转后的空白区域及正射影像图中形变严重的边缘位置；

步骤5、根据激光雷达检测到障碍物的位置，再次裁剪图片，将路面被遮挡位置裁去，后续可以使用相邻图片未被遮挡的重叠位置对其进行代替；

步骤6、根据之前得到的GPS数据，按照标准格式生成每张正射影像图对应的地理信息文件，以后缀为‘.jpg’图片为例，其对应的地理信息文件后缀为‘.jgw’，该文件可用于推测图片每个像素对应的GPS信息；

步骤7、将正射影像图与对应的地理信息文件导入地理信息系统软件，生成一个采集区域整体的道路地图底图，为了提高地图底图显示效率和后续操作效率，生成该地图底图的瓦片地图；

步骤8、在生成的地图底图上标注一系列道路信息数据，包括：道路边沿、车道线、路面标志、交通标志、路口点信息、特殊区域等中一种或多种，也可根据实际需要添加新信息类型，数据精度可达厘米级，标注好的数据可以用于先进驾驶辅助系统和无人驾驶车辆。

本发明与现有技术对比，其有益效果如下：

(1)本发明以地面车辆作为采集平台，以图像拍摄模块作为采集工具，所采集的道路图像清晰、分辨率高，经过处理后的正射影像图可达到每像素代表实际2-3cm，能从细节表现路面特征，使制作车道级高精细地图成为可能，这是使用航拍或卫星图像等拍摄手段无法做到的；

(2)本发明通过精确单点定位技术(PPP)以及多传感器信息融合，可以精确计算GPS数据以及车辆航向角数据，有效保证后续生成道路信息数据的准确性；

(3)本发明使用水平激光雷达检测周围障碍物，用于正射影像图裁去路面被遮挡部分，并使用相邻图片未被遮挡区域补全，可生成高质量地图底图；

(4)本发明标注的信息类型涵盖了车辆在道路上行驶时可能用到的各类信息，通过在高精度的地图底图上进行标注，可以得到车道级的精确道路信息数据，对于需要高精细地图数据的应用或技术有重要实用意义；

(5)本发明使用图像拍摄模块作为采集工具，可使用普通摄像头或全景相机，其中全景相机具有单帧图像视野范围广，不易受，遮挡数据量小，整体成本低等优势，普通摄像头采用多摄像头联合采集；整体上，本发明制图时间和数据标注时间短，效率高。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是一种基于高清正射影像图的高精细地图生成系统工作流程图；

图2是车载各类传感器配置示意图；

图3是实际生成的某一校园区域的地图底图示意图；

图4是在图3中地图底图某位置放大后路面细节的示意图；

图5是在图3中地图底图上标注的道路边沿信息单独显示示意图；

图6是在图4中某位置标注的道路边沿、车道线、地面信息细节示意图；

图中：图像拍摄模块1，GPS接收机2，旋转编码器3，水平激光雷达4。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图2所示，本实施例提供一种基于高清正射影像图的高精细地图生成系统，包括：

图像拍摄模块，采集到同一位置车辆周围各个角度道路图像，并经图像处理算法获取道路高分辨率正射投影图像，该正射投影图像将作为图像及数据预处理模块的输入，用于生成地理信息数据标注的底图。该模块可使用普通摄像头或全景相机，其中全景相机具有单帧图像视野范围广，不易受，遮挡数据量小，整体成本低等优势，普通摄像头采用多摄像头联合采集。

水平激光雷达，架设在车辆四周，用于获取车辆周围障碍物位置信息，获取的信息将作为图像及数据预处理模块的输入，用于剔除被障碍物遮挡的路面部分。

GPS处理模块，用于接收GPS卫星信号，以及接收惯性导航模块数据、旋转编码器数据，接收到的GPS原始数据使用精确单点定位技术进行处理，并与惯性导航模块数据、旋转编码器数据融合，获得高精度GPS数据和车辆航向角数据，高精度的GPS数据和车辆航向角数据可作为图像及数据预处理模块的输入，用于地理信息数据的标注。

惯性导航模块，接收惯性导航装置数据，并将其输入到GPS处理模块，主要用于与GPS数据、旋转编码器数据融合以获取高精度GPS数据，在GPS信号丢失情况下的数据推算。

旋转编码器，统计车轮旋转圈数，获取车辆里程信息，并将其输入到GPS处理模块，主要用于与GPS数据、旋转编码器数据融合以获取高精度GPS数据，帮助推导车辆航向角数据。

图像及数据预处理模块，接收正射投影图像、水平激光雷达数据、高精度GPS数据、车辆航向角数据，通过数据融合生成一定大小、与车辆航向相同、没有障碍物遮挡的路面新正射投影图像，并生成对应的地理信息文件，新正射投影图像和对应的地理信息文件作为输入传递给地理信息处理模块。

地理信息处理模块，接收图像及数据预处理模块传递来的新正射投影图像和对应的地理信息文件，在地理信息系统软件中生成高分辨率、高精度的道路地图底图，并在地图底图上标注一系列高精度的地理信息数据，生成高精细地图。

进一步的，所述图像拍摄模块包括普通摄像头和全景相机，普通摄像头采用多摄像头联合采集，架设在数据采集车辆上；所述旋转编码器安装在车轮上，旋转编码器每检测到隔一段距离或时间，系统发送一个触发脉冲，该脉冲触发图像拍摄模块使之采集道路图像、同时该脉冲触发一次时间戳记录用于该道路图像获取对应的GPS。

进一步的，所述图像及数据预处理模块，对道路图像进行处理，根据图像拍摄模块水平偏角以及俯仰角数据获取对应的正射影像图，结合之前得到的车辆航向角数据，对正射影像图进行旋转，再对旋转后正射影像图进行裁剪，裁剪掉旋转后的空白区域及正射影像图中形变严重的边缘位置。

进一步的，所述图像及数据预处理模块，根据激光雷达检测到障碍物的位置，再次裁剪图片，将路面被遮挡位置裁去，后续可以使用相邻图片未被遮挡的重叠位置对其进行代替。

进一步的，所述图像及数据预处理模块，根据之前得到的GPS数据，按照标准格式生成每张正射影像图对应的地理信息文件，以后缀为‘.jpg’图片为例，其对应的地理信息文件后缀为‘.jgw’，该文件可用于推测图片每个像素对应的GPS信息。

进一步的，所述地理信息处理模块，将正射影像图与对应的地理信息文件导入地理信息系统软件，生成一个采集区域整体的道路地图底图，为了提高地图底图显示效率和后续操作效率，生成该地图底图的瓦片地图。

进一步的，所述地理信息处理模块，在生成的地图底图上标注一系列道路信息数据，包括：道路边沿、车道线、路面标志、交通标志、路口点信息、特殊区域等中一种或多种，也可根据实际需要添加新信息类型，数据精度可达厘米级，标注好的数据可以用于先进驾驶辅助系统和无人驾驶车辆。

进一步的，所述系统以地面数据采集车辆作为采集平台，以图像拍摄模块作为采集工具，所采集的道路图像清晰、分辨率高，经过处理后的正射影像图可达到每像素代表实际2-3cm，能从细节表现路面特征。

进一步的，所述水平激光雷达架设在数据采集车辆四周。

如图1所示，为本发明一种基于高清正射影像图的高精细地图生成方法的流程图，(1)运用车载图像拍摄模块采集道路图像，用激光雷达扫描其他车辆等障碍物，以及采集GPS等地理信息数据；(2)对GPS信息进行精度上的优化；(3)运用图像处理算法获得道路图像的正射影像图，并进行旋转、裁剪、生成对应地理信息文件等操作；(4)将全正射影像图序列与对应的地理信息文件结合并拼接，生成全局地图底图；(5)在地图底图上标注各类地理信息数据。

具体的：

步骤1、在采集车辆上安装图像拍摄模块，GPS接收器，惯性导航装置，车辆四周安装四个水平激光雷达，车后轮轴安装旋转编码器，其中图像拍摄模块使用全景相机，其安装需要高出车顶，以尽可能扩大拍摄范围，减少遮挡盲区；

步骤2、对图像拍摄模块进行标定，其目的是确定最终得到的正射影像图中每一像素对应的实际距离；

步骤3、设定图像拍摄模块触发方式，一般有按时间触发和按触发信号触发两种方式，本实例中采用触发信号触发，检测旋转编码器状态，每转过一个固定距离，系统输出一个触发信号，一方面，触发信号输送到图像拍摄模块，使其拍摄一帧图像，另一方面，触发信号令系统记录一个时间戳，以后可以用来获取对应的GPS数据；

步骤4、各类数据采集同时，四个水平激光雷达检测周围障碍物，用于后续裁去正射影像图中被障碍物遮挡的路面部分；

步骤5、数据采集完毕，对原始数据预处理，首先对步骤1中GPS原始数据处理，这里采用是GPS领域里相对成熟的精确单点定位技术，处理后可获得高精度的GPS数据；

步骤6、在步骤1中得到的GPS原始数据，惯性导航装置数据以及旋转编码器数据作为输入，使用扩展卡尔曼滤波器进行滤波，得到更平滑，更接近车辆行驶轨迹的新数据，通过这些数据可以推算出GPS信号被遮挡区域的GPS数据及车辆在某一时刻的航向信息；

步骤7、对道路图像进行预处理，图像拍摄模块存储的是球型全景图像，使用球心投影算法，将一个特定点作为中心点，将原本球型平面上畸变分布的点投影到平面上，可根据输入的水平偏角和俯仰角数据，获取全景图某一特定视角的影像图；

步骤8、本发明使用全景图像的正射影像图，需结合步骤6中推测出的航向信息，对图像进行旋转，同时，因球心投影算法处理的正射影像图边缘存在畸变且图片旋转后存在空的填补区域，需以图片中心为中心进行裁剪，获取精确的地面正射影像图；

步骤9、正射影像图本身不具有地理意义，需生成对应的地理信息文件，以后缀为‘.jpg’格式的图片为例，其对应的地理信息文件格式为后缀为‘.jgw’的文本文件，该文件有固定格式，包含比例信息，坐标信息等，根据步骤5中得到的高精度GPS数据和步骤2中得到的标定数据，生成地理信息文件；

步骤10、将正射影像图和对应的地理信息文件导入地理信息系统软件进行拼接，得到初步的地图底图，图3中展示了某校园区域整体地图底图效果，图4中展示了对图3某一地点放大后的细节效果；

步骤11、在步骤10中得到的地图底图显示速率较慢，较成熟的地图底图显示方式是生成瓦片地图，参考图3，本实施例只采集道路数据，其余部分均为空白，所以生成的瓦片地图有大量空白瓦片，所占比例一般不少于70％，鉴别并删除这些瓦片，减少数据量，删除工作不影响后续操作；

步骤12、在步骤11中得到的地图底图用来标注需要的地理信息数据，包括：道路边沿、车道线、路面标志、交通标志、路口点信息、特殊区域等，也可根据实际需要添加新信息类型，并赋予其相应属性，数据精度可达厘米级，图5展示了图3中地图底图上标注道路边沿后效果图，图6中展示了对图3某一地点放大后的细节效果，包含了道路边沿、车道线、地面标志信息。

本发明能够借助正射影像图生成极高分辨率的车道级道路地图，并标注地理信息数据，生成高精细的导航地图，其数据精度可达到厘米级，对先进驾驶辅助系统和无人驾驶车辆有很高的实用价值。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (8)

1.一种基于高清正射影像图的高精细地图生成系统，其特征在于，所述系统包括：

图像拍摄模块，采集同一位置车辆周围各个角度道路图像，并经图像处理算法获取道路高分辨率正射投影图像，该正射投影图像将作为图像及数据预处理模块的输入，用于生成地理信息数据标注的底图；

水平激光雷达，用于获取车辆周围障碍物位置信息，获取的信息将作为图像及数据预处理模块的输入，用于剔除被障碍物遮挡的路面部分；

GPS处理模块，用于接收GPS卫星信号，以及接收惯性导航模块数据、旋转编码器数据，接收到的GPS原始数据使用精确单点定位技术进行处理，并与惯性导航模块数据、旋转编码器数据融合，获得高精度GPS数据和车辆航向角数据，高精度的GPS数据和车辆航向角数据作为图像及数据预处理模块的输入，用于地理信息数据的标注；

惯性导航模块，接收惯性导航装置数据，并将其输入到GPS处理模块，用于与GPS数据、旋转编码器数据融合以获取高精度GPS数据，在GPS信号丢失情况下的数据推算；

旋转编码器，统计车轮旋转圈数，获取车辆里程信息，并将其输入到GPS处理模块，用于与GPS数据、旋转编码器数据融合以获取高精度GPS数据，帮助推导车辆航向角数据；

图像及数据预处理模块，接收正射投影图像、水平激光雷达数据、高精度GPS数据、车辆航向角数据，通过数据融合生成设定大小、与车辆航向相同、没有障碍物遮挡的路面新正射投影图像，并生成对应的地理信息文件，新正射投影图像和对应的地理信息文件作为输入传递给地理信息处理模块；所述图像及数据预处理模块，对道路图像进行处理，根据图像拍摄模块水平偏角以及俯仰角数据获取对应的正射影像图，结合之前得到的车辆航向角数据，对正射影像图进行旋转，再对旋转后正射影像图进行裁剪，裁剪掉旋转后的空白区域及正射影像图中形变严重的边缘位置；所述图像及数据预处理模块，根据激光雷达检测到障碍物的位置，再次裁剪图片，将路面被遮挡位置裁去，后续可以使用相邻图片未被遮挡的重叠位置对其进行代替；

地理信息处理模块，接收图像及数据预处理模块传递来的新正射投影图像和对应的地理信息文件，在地理信息系统软件中生成高分辨率、高精度的道路地图底图，并在地图底图上标注一系列高精度的地理信息数据，生成高精细地图。

2.根据权利要求1所述的基于高清正射影像图的高精细地图生成系统，其特征在于，所述图像拍摄模块可使用普通摄像头或全景相机，若使用普通摄像头则采用多摄像头联合采集，架设在数据采集车辆上；所述旋转编码器安装在车轮上，旋转编码器每检测到隔一段距离或时间，系统发送一个触发脉冲，该脉冲触发图像拍摄模块使之采集道路图像、同时该脉冲触发一次时间戳记录用于该道路图像获取对应的GPS。

3.根据权利要求1所述的基于高清正射影像图的高精细地图生成系统，其特征在于，所述图像及数据预处理模块，根据之前得到的GPS数据，按照标准格式生成每张正射影像图对应的地理信息文件，以后缀为‘.jpg’图片为例，其对应的地理信息文件后缀为‘.jgw’，该文件可用于推测图片每个像素对应的GPS信息。

4.根据权利要求1所述的基于高清正射影像图的高精细地图生成系统，其特征在于，所述地理信息处理模块，将正射影像图与对应的地理信息文件导入地理信息系统软件，生成一个采集区域整体的道路地图底图，为了提高地图底图显示效率和后续操作效率，生成该地图底图的瓦片地图。

5.根据权利要求4所述的基于高清正射影像图的高精细地图生成系统，其特征在于，所述地理信息处理模块，在生成的地图底图上标注一系列道路信息数据，包括：道路边沿、车道线、路面标志、交通标志、路口点信息、特殊区域中一种或多种，也可根据实际需要添加新信息类型，数据精度可达厘米级，标注好的数据用于先进驾驶辅助系统和无人驾驶车辆。

6.根据权利要求1-5任一项所述的基于高清正射影像图的高精细地图生成系统，其特征在于，所述系统以地面数据采集车辆作为采集平台，以图像拍摄模块作为采集工具，所采集的道路图像清晰、分辨率高，经过处理后的正射影像图可达到每像素代表实际2-3cm，能从细节表现路面特征。

7.根据权利要求1-5任一项所述的基于高清正射影像图的高精细地图生成系统，其特征在于，所述水平激光雷达架设在数据采集车辆四周。

8.一种基于高清正射影像图的高精细地图生成方法，其特征在于，包括如下步骤：

步骤1、在数据采集车辆上架设图像拍摄模块，使用GPS接收机、惯性导航装置记录位置信息，使用安装在车轮上的旋转编码器，每检测到隔一段距离或时间，系统发送一个触发脉冲，该脉冲触发图像拍摄模块使之采集道路图像、同时该脉冲触发一次时间戳记录用于该道路图像获取对应的GPS数据；

步骤2、采集步骤1所述数据的同时，使用水平激光雷达检测采集车辆周围障碍物；

步骤3、对采集到的GPS原始数据使用精确单点定位技术处理，得到高精度GPS数据，同时使用扩展卡尔曼滤波器融合GPS原始数据、惯性导航装置数据、编码器数据，得到精确的车辆航向角数据及GPS信号失效区域的GPS数据，用于对应特定道路图像；

步骤4、对道路图像进行处理，根据图像拍摄模块水平偏角以及俯仰角数据获取对应的正射影像图，结合之前得到的车辆航向角数据，对正射影像图进行旋转，再对旋转后正射影像图进行裁剪，裁剪掉旋转后的空白区域及正射影像图中形变严重的边缘位置；

步骤5、根据激光雷达检测到障碍物的位置，再次裁剪图片，将路面被遮挡位置裁去，后续使用相邻图片未被遮挡的重叠位置对其进行代替；

步骤6、根据之前得到的GPS数据，按照标准格式生成每张正射影像图对应的地理信息文件，以后缀为‘.jpg’图片为例，其对应的地理信息文件后缀为‘.jgw’，该文件用于推测图片每个像素对应的GPS信息；

步骤7、将正射影像图与对应的地理信息文件导入地理信息系统软件，生成一个采集区域整体的道路地图底图，为了提高地图底图显示效率和后续操作效率，生成该地图底图的瓦片地图；

步骤8、在生成的地图底图上标注一系列道路信息数据，包括：道路边沿、车道线、路面标志、交通标志、路口点信息、特殊区域中一种或多种，或者根据实际需要添加新信息类型，数据精度可达厘米级，标注好的数据能用于先进驾驶辅助系统和无人驾驶车辆。