CN106525057A

CN106525057A - 高精度道路地图的生成系统

Info

Publication number: CN106525057A
Application number: CN201610947489.2A
Authority: CN
Inventors: 陈曦
Original assignee: Individual
Current assignee: Individual
Priority date: 2016-10-26
Filing date: 2016-10-26
Publication date: 2017-03-22

Abstract

高精度道路地图的生成系统，属于高精度地图技术领域。本发明是为了解决现有高精度地图生产或更新的工作量大并且成本高的问题。它通过实现相对于现有地图的高精度定位和高精度匹配，充分利用现有地图已有的信息，减少生产/更新高精度地图的工作量和成本。其核心是将采用深度学习、计算机视觉等方法识别的道路要素并获取的准确的相对位置信息，形成类似Mobileye的地面1维稠密，空间3维稀疏的地图，并可与现有的交通信息系统GIS‑T匹配融合。本发明基于现有低精度电子地图，定位系统和车载相机，实现了低成本高精度地图的生产/更新。本发明用于生产或更新现有高精度道路地图。

Description

高精度道路地图的生成系统

技术领域

本发明涉及高精度道路地图的生成系统，属于高精度地图技术领域。

背景技术

传统地图只存储道路中心线和道路名称等道路要素的少量标记信息。这些信息只能表征大幅简化后的实际交通环境，无法高精度地反映道路的详细情况。相对于传统地图而言，高精度地图能提供高精度的坐标，准确的道路形状、车道线、交通标志、坡度、高程、侧倾等详细的道路信息和丰富的地理要素，能为未来精确的位置服务(Location BasedServices,LBS)及无人驾驶等最新科技提供坚实的基础，因此得到了越来越多的关注。尤其是当出现强雨、雪等恶劣天气情况时，无人驾驶车从各类传感器包括激光雷达收集到的信息将受到严重影响，没有高精度地图的辅助将无法准确而实时地判断自身位置并规划路径。高精度地图可以不受恶劣天气的影响，提供准确的道路信息，强化了自动驾驶的安全性。

现在，高精度地图的生产大多由专业的工作人员重新采集所有的道路信息，并计划采集完成后周期性地对大部分区域重新更新。这种方法的采集设备往往是安装了激光雷达等专用设备的采集车。三菱和丰田等日本汽车厂商联合日本图商Zenrin正在制作三维的动态地图。其计划是采用装有高端传感器的专用汽车对道路进行测绘，第一步是覆盖日本300公里的主要高速公路。Here、TomTom和谷歌也采用类似方式制作三维地图。国内的传统图商高德通过装配2个激光雷达和4个摄像头的方式来满足所需要的10cm级别精度。腾讯、百度、四维图新等公司也在用类似的方式制作高精度地图。

上述用专门的采集车绘制的地图信息精度很高，然而也存在以下问题：1)车载设备成本居高不下。2)数据处理效率较低，无法及时更新常常变化的道路现状，阻碍位置服务的快速发展，降低了无人驾驶的安全性和可靠性。3)采集到的数据是稠密的点云，数据密度极大，消耗大量的计算资源，且后期地图通信量高。如何低成本高效且准确地生产或更新高精度地图是急待解决的问题。

为了解决这一问题，Here和高德等国内外相关公司都计划采用众包方式辅助更新高精度地图，以减少计算资源的消耗，降低成本。当下另一个热点是实时定位与制图(Simultaneous Localization and Mapping,SLAM)。该技术能够准确获取自身位置，并同时增量式地构建地图，因此近年来得到了研究和应用者的极大关注。但该技术的缺点也很明显：计算量大且数据传输量大。

发明内容

本发明目的是为了解决现有高精度地图生产或更新的工作量大并且成本高的问题，提供了一种高精度道路地图的生成系统。

本发明所述高精度道路地图的生成系统，所述生成系统通过采集车上的两对车载摄像头进行数据采集，它包括：

数据获取模块，用于采集获得采集车行驶环境中两对车载摄像头获得的道路沿途的图像数据、两对车载摄像头位置坐标数据及采集车车辆航向角与道路当前坡度数据；

数据处理模块：用于对两对车载摄像头获得的双目图像数据进行预处理，获得矫正图像数据；针对矫正图像数据，根据深度学习算法进行分类；对分类后的矫正图像数据采用深度学习模型进行双目图像特征点提取和匹配，并通过左右视线一致的方式剔除误匹配的双目图像匹配点；从矫正图像数据中提取图像深度信息，获取双目图像匹配点相对于两对车载摄像头的空间位置关系；

地图生成模块：获取已知道路中心线的坐标点列；将采集车的坐标轨迹及双目图像匹配点匹配到电子地图的相应位置上；根据道路匹配后采集车的坐标得到道路要素的绝对坐标；并判断获得正确的绝对坐标；

数据传输模块：将地图生成模块中匹配后获得的电子地图及采集车车辆航向角与道路当前坡度数据传输到服务器端，用于生成高精度道路地图。

本发明的优点：本发明与现有方法努力获取绝对的高精度定位不同，通过实现相对于现有地图的高精度定位和高精度匹配，充分利用现有地图已有的信息，减少生产/更新高精度地图的工作量和成本。其核心是将采用深度学习、计算机视觉等方法识别的道路要素并获取的准确的相对位置信息，形成类似Mobileye的地面1维稠密，空间3维稀疏的地图，并可与现有的交通信息系统GIS-T匹配融合。本发明基于现有低精度电子地图，定位系统和车载相机，实现了低成本高精度地图的生产/更新。本发明具有如下优势：

1)基于现有地图生产/更新获得高精度地图，省去大面积重新测绘的过程，只需要精确测绘有疑问的道路，能大幅降低成本；2)在车前灯附近额外装两个摄像头，略朝下拍摄，专用于道路和车道线场景检测及定位，两个装在车内前挡风玻璃处的摄像头向前拍摄，专用于道路交通标志等的检测和定位，降低场景复杂度，大大提高了算法的识别率和测距精确度；3)联合先验知识和深度学习提取匹配点，进一步提高从双目图像中获取深度信息即测距的精度；4)通过识别出车道线数量并准确测量出车辆当前所在车道的宽度，准确外推道路总体宽度；5)通过原有地图上道路中心线的坐标及算出的车道宽度，算出车道线坐标和道路边界的坐标；6)提出校验模块，在该模块中比较各种方法取得的道路要素坐标，如果差别较大就标记为有疑问的道路，自动向管理员发出重新测绘的请求，提高道路要素的准确性；7)用户使用时可将GNSS轨迹与地图相匹配，以判断采集车具体所处车道及其位置。

附图说明

图1是本发明所述高精度道路地图的生成系统的整体流程图；

图2是本发明系统的数据交换示意图；

图3是采集车上装在车灯附近略朝下的两个车载摄像头的安装位置及其视角范围示意图；

图4是图3的仰视图；

图5是采集车正常行驶时车道线相对位置示意图；车正常行驶时，车道线与车辆平行；对两个装在车灯附近略朝下的车载摄像头采集的图像检测匹配点，根据其中的车道线匹配点可以计算出车道线与车辆的相对位置；

图6是采集车转向时车道线相对位置示意图；车辆转向时刻，车道线与车辆不平行；对两个装在车灯附近略朝下的车载摄像头采集的图像检测匹配点，根据其中的车道线匹配点可以计算出车道线与车辆的相对位置；

图7是根据检测到的车道线坐标和道路中心线坐标计算车道线的绝对位置并推断道路边界的示意图。

具体实施方式

具体实施方式一：下面结合图1和图7说明本实施方式，本实施方式所述高精度道路地图的生成系统，所述生成系统通过采集车上的两对车载摄像头进行数据采集，它包括：

数据获取模块旨在采集各种必要的信息，如车辆位置信息、当前坡度等。它包括：

图像数据获取子模块：用于采集获得采集车行驶环境中两对车载摄像头获得的道路沿途的图像数据；其中一对车载摄像头在采集车车前端的纵向中心线两侧呈镜像对称对应安装在两个车前灯位置处，该对车载摄像头的轴线与地平面的夹角范围为0—30度，另一对车载摄像头在采集车车前端的纵向中心线两侧呈镜像对称对应安装在车内前挡风玻璃处；两对车载摄像头可用包括红外车载夜视仪的车载摄像头。专用摄像头能够降低场景复杂度，可以进一步提高精度和处理速度。

位置数据获取子模块：用于根据WLAN基站、全球导航卫星系统和采集车的里程计定位采集车的高精度位置坐标，获取采集车行驶的轨迹点，同时获得两对车载摄像头位置坐标；在实际应用中，尤其是在城市峡谷中，经常发生采样频率降低、定位误差加大、信号丢失等情况，严重影响全球导航卫星系统GNSS的信号质量。可用通过WLAN基站、车辆里程计等一起定位当前车辆坐标，加强定位可靠性。

道路信息获取子模块：用于通过传感器传感获得采集车车辆航向角与道路当前坡度数据。可根据陀螺仪等传感器直接获取车辆航向角与道路当前坡度数据。

数据处理模块旨在在线或离线处理采集到的各种信息，识别地图要素及其位置。它包括：

图像数据预处理子模块：对两对车载摄像头获得的原始双目图像数据根据车载摄像头的内外参数进行预处理，获得矫正图像数据；

道路信息识别子模块：根据深度学习算法对矫正图像数据进行分类，获得每一类矫正图像数据的道路要素语义信息；根据深度学习算法对相机采集到的图像数据进行分类，获得图像上道路、车道线、道路标志、隔离带等的语义信息。由于自然场景中的道路及其交通标志等图像易受天气和光照等因素影响，还会出现遮挡、变形等情况，是实景目标识别的难点之一。本发明基于深度学习方法判断道路及交通标志。深度学习源于人工神经网络，通过组合低层特征形成更加抽象的高层表示属性类别或特征，模拟人脑进行分析学习，挖掘数据的深层次特征表示，提高分类精度。

匹配点提取子模块：对分类后的矫正图像数据采用深度学习模型进行双目图像特征点提取和匹配，并通过左右视线一致的方式剔除误匹配的双目图像匹配点；寻找双目图像准确的匹配点是基于计算机视觉技术测距的关键。当匹配点不准确时，测距或深度计算将不可靠。反之，如果能准确地确定匹配点，测距或深度计算将十分精确。传统基于SIFT/SURF等特征描述子的匹配算法在复杂图像上会有较多误匹配点，而构建二值化分类数据集即相似或相异二值样本对，采用深度学习方法学习图像块的相似性，则可以大幅提高匹配正确率。为进一步提高正确率，可以根据道路的语义信息提取属于道路、车道线和道路标志等重要对象上的匹配点，并综合场景和左右视线一致的方式进行筛选。明显视觉特征可以储存下来，作为未来定位的参考点，提高定位精度。

测距子模块：基于双目立体视觉测量双目图像匹配点中道路要素与两对车载摄像头的空间位置关系；结合两对车载摄像头的位置坐标和采集车车轨迹的坐标，得到道路要素在电子地图上相对精确的坐标；再根据道路要素中识别出的车道线数量和车道线宽度，获得道路边界的相对空间位置，提取深度信息，获取匹配点相对于相机的空间位置关系。根据相机与车道线或者其他道路要素上关键点之间的相对空间位置，结合相机的坐标和车轨迹的坐标，得到车道线在地图上相对精确的坐标。最后，根据识别出的车道线数量和测距子模块算出的车道线的宽度，产生道路边界的相对空间位置。

地图生成模块旨在根据地图要素及其位置生产高精度地图。它包括：

地图数据获取子模块：在已知电子地图上获取采集车坐标轨迹所在道路名称和道路中心线的坐标点列；

地图匹配子模块：将采集车的坐标轨迹与电子地图信息进行融合，使采集车的坐标轨迹及满足预设阈值的双目图像特征点与已知电子地图进行匹配；地图匹配是指将车辆的坐标轨迹匹配到电子地图的道路上，可以看成定位信息和地图信息的融合，其目的是在现有硬件条件下，消除垂直道路方向的误差，提高车辆位置与地图信息之间相对准确程度。当车辆位置坐标偏移较大、采样较稀疏时，仍然需要保持较高的路径匹配准确率，此时需要根据电子地图中的道路中心线纠正车辆的绝对位置信息。尤其是在城市峡谷环境中，有时会由于信号不好等原因导致采样频率降低、定位误差加大的情况。定位误差越大，采样频率越低，匹配精度越低。如何在定位精度大幅下降的条件下保证系统和方法的精度和可靠性，其算法可以从几何、拓扑和概率等考虑。基于几何的算法可以尽量利用坐标与道路的几何信息，如距离、角度等。基于拓扑的算法利用道路拓扑信息。概率方法需要计算坐标点概率。其他常用方法还包括卡尔曼滤波和隐马尔可夫模型等。

令G(V,E)为一个道路网络图，其中，v∈V是经纬度对，r_i∈E是用多边形表述的道路。x₁,x₂,...,x_n表示n个GNSS采样点，x_i是轨迹中的第i个采样点。目标是找到道路块序列ans₁,ans₂,...,ans_n，其中ans_i是采样点x_i的匹配结果。然后基于拓扑的算法获得准确的匹配道路。

绝对坐标获取子模块：结合采集车车轨迹的坐标和道路要素相对于采集车的坐标，得到道路要素的绝对坐标；

校验子模块：检验获取的绝对坐标，比较匹配后的电子地图中道路中心线坐标与车道宽度外推的道路边界与测距子模块中获得的道路边界是否一致；若是，判断为正确的绝对坐标；否则传输到数据传输模块中待测量。通过检验各种不同方式获取的坐标，判断坐标是否准确。例如，比较根据道路中心线坐标和车道宽度外推的道路边界和测距子模块测量的道路边界，校验道路边界是否一致。如果差别大，传输到数据传输模块，留待进一步测量。

数据传输模块：将生产的地图、传感器获取的当前坡度等道路参数和有疑问的道路信息传输到服务器端，用于生产/更新或者进一步修饰高精度地图。

本发明基于现有地图、定位系统和车载相机实现，其各数据功能模块形成车载数据处理终端，采用的GIS数据处理中心包括web应用服务器及查询平台等。所述发明系统通过WLAN基站、GNSS终端等确定车辆的坐标；通过各种传感器采集车辆的经纬度和坡度等信息；通过图像数据获取子模块所包含的普通车载摄像头等采集道路画面和视频，也可以包括红外车载夜视仪。采用深度学习方法解析视频，获得视频中道路各要素的内容信息；相机标定之后采用计算机视觉方法测量道路要素的相对位置；将车辆的位置轨迹与电子地图中的道路相匹配，结合车辆的地理坐标确定道路各要素的绝对位置，并比较检验道路各要素的坐标与道路中心线坐标的道路信息相比较，确认正确后上传到中心服务器端，申请更新相关道路信息。最后通过web应用到服务器上人工查询平台信息，以供相关人员进行查看、管理地图，并酌情对有疑问的道路采用高分辨率遥感图像处理或实地测绘等方式进行进一步测绘，降低空间数据资源采集和管理的成本，提高准确度。与现有技术相比较，能以更低的成本生产/更新高精度地图。

数据获取模块采集道路沿途的图像数据，获取图像点相对于相机的空间位置关系；根据WLAN基站、GNSS和车辆的里程计等定位车辆的位置信息，同时获得相机的坐标；根据陀螺仪等传感器获取车辆航向角和当前坡度等数据。

数据处理模块在线或离线处理采集到的各种信息，识别地图要素及其位置。首先对双目图像进行矫正，再根据深度学习算法对相机采集到的图像数据进行分类，获得图像上道路、道路标志等的语义信息；基于深度学习算法对双目图像进行特征点提取和匹配，提取属于道路、车道线和道路标志等重要对象上的点，剔除不在车道线上的匹配点，得到精确的匹配点。获取匹配点相对于相机的空间位置关系，并根据预先标定好的相机的内外参数，测量道路、车道线及道路标志关键点与相机的相对空间位置。

地图生成模块将车辆的坐标点匹配到电子地图的道路上，并从现有的电子地图获取轨迹点所在道路名称和道路中心线的坐标点列。根据相机与车道线上关键点之间的相对空间位置，结合相机的坐标和车轨迹的坐标，得到车道线在地图上相对精确的坐标。根据识别出的车道线数量和测距子模块算出的车道线的宽度，产生道路边界的相对空间位置，结合相机的坐标和车轨迹的坐标，得到车道线在地图上相对精确的坐标。根据已知的道路中心线坐标外推正确的车道线和道路坐标，检测车道数量及车道宽度、总的道路宽度是否一致。如果差别大，根据电子地图中的道路中心线坐标纠正车辆坐标。

数据传输模块将生产的地图和传感器获取的当前坡度等道路信息传输到服务器端，用于生产/更新高精度地图。

Claims

1.一种高精度道路地图的生成系统，所述生成系统通过采集车上的两对车载摄像头进行数据采集，其特征在于，它包括：

2.根据权利要求1所述的高精度道路地图的生成系统，其特征在于，数据获取模块包括：

图像数据获取子模块：用于采集获得采集车行驶环境中两对车载摄像头获得的道路沿途的图像数据；其中一对车载摄像头在采集车车前端的纵向中心线两侧呈镜像对称对应安装在两个车前灯位置处，该对车载摄像头的轴线与地平面的夹角范围为0—30度，另一对车载摄像头在采集车车前端的纵向中心线两侧呈镜像对称对应安装在车内前挡风玻璃处；

位置数据获取子模块：用于根据WLAN基站、全球导航卫星系统和采集车的里程计定位采集车的高精度位置坐标，获取采集车行驶的轨迹点，同时获得两对车载摄像头位置坐标；

道路信息获取子模块：用于通过传感器传感获得采集车车辆航向角与道路当前坡度数据。

3.根据权利要求2所述的高精度道路地图的生成系统，其特征在于，数据处理模块包括：

图像数据预处理子模块：对两对车载摄像头获得的原始双目图像数据根据车载摄像头的参数进行预处理，获得矫正图像数据；

道路信息识别子模块：根据深度学习算法对矫正图像数据进行分类，获得每一类矫正图像数据的道路要素语义信息；

匹配点提取子模块：对分类后的矫正图像数据采用深度学习模型进行双目图像特征点提取和匹配，并通过左右视线一致的方式剔除误匹配的双目图像匹配点；

测距子模块：基于双目立体视觉测量双目图像匹配点中道路要素与两对车载摄像头的空间位置关系；结合两对车载摄像头的位置坐标和采集车车轨迹的坐标，得到道路要素在电子地图上相对精确的坐标；再根据道路要素中识别出的车道线数量和车道线宽度，获得道路边界的相对空间位置，提取深度信息，获取匹配点相对于相机的空间位置关系。

4.根据权利要求3所述的高精度道路地图的生成系统，其特征在于，地图生成模块包括：

地图匹配子模块：将采集车的坐标轨迹与电子地图信息进行融合，使采集车的坐标轨迹及满足预设阈值的双目图像特征点与已知电子地图进行匹配；

校验子模块：检验获取的绝对坐标，比较匹配后的电子地图中道路中心线坐标与车道宽度外推的道路边界与测距子模块中获得的道路边界是否一致；若是，判断为正确的绝对坐标；否则传输到数据传输模块中待测量。