CN115564865A - 一种众包高精地图的构建方法、系统、电子设备及车辆 - Google Patents

一种众包高精地图的构建方法、系统、电子设备及车辆 Download PDF

Info

Publication number
CN115564865A
CN115564865A CN202211239758.1A CN202211239758A CN115564865A CN 115564865 A CN115564865 A CN 115564865A CN 202211239758 A CN202211239758 A CN 202211239758A CN 115564865 A CN115564865 A CN 115564865A
Authority
CN
China
Prior art keywords
map
data
vehicle
crowdsourcing
elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211239758.1A
Other languages
English (en)
Inventor
王志铠
李健
王立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Changan Automobile Co Ltd
Original Assignee
Chongqing Changan Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Changan Automobile Co Ltd filed Critical Chongqing Changan Automobile Co Ltd
Publication of CN115564865A publication Critical patent/CN115564865A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)

Abstract

本发明提供一种基于多摄像头的众包高精地图的构建方法、系统、电子设备及车辆，分为车端建图与云端融合更新两部分。一方面利用自车各类传感器，通过细分地面要素和非地面要素，在车端完成建图，另一方面通过云端地图学习将海量的众包数据进行融合/更新，对环境差异导致的识别结果的误差、系统误差和随机误差进行修正，消除单一车辆无法消除的自身误差，得到众包高精地图，本发明得到的地图精度更高，能够满足高级别自动驾驶定位与导航规划的需求。

Description

一种众包高精地图的构建方法、系统、电子设备及车辆
技术领域
本发明涉及高精地图生成技术领域，尤其涉及基于多摄像头的众包高精地图的构建方法及系统。
背景技术
处于信息技术革命下的汽车产业，正逐步向个性化、数字化、智能化方向迈进。世界各国也出台了一系列的政策法规，促进自动驾驶产业快速落地。而高精地图数据，作为智能驾驶系统的经验和记忆，能够解决现有自动驾驶中感知能力不足，稳定性差等问题，加速自动驾驶产业落地。然而现有的高精地图生产方案存在一定的局限性：对车载传感器的精度要求高，价格昂贵无法大规模量产；需要专业的人员和车辆进行实地数据采集，然后进行地图生产加工。以上问题导致高精地图的生产成本高，更新周期慢，造成实际道路的覆盖度低，无法满足全场景自动驾驶的要求。
中国专利文献CN112862881A公开了一种基于众包多车摄像头数据的道路地图构建与融合的方法，该方法将车载摄像头采集到的连续图像作为信息源，依靠检测到的道路标记的亮度值和亮度比作为融合过程中的参考置信度，以获取基于车相机数据的地图变化要素判断，广泛应用于自动驾驶地图更新中。但该方法主要解决地面标线的构建与更新，对于非地面地图要素，如：交通标识、高架物、防护栏等的构建并未涉及，而这些要素对自动驾驶的定位、规划控制等功能起着关键作用，且完全依赖车辆自身的车载摄像头作为信息源。
中国专利文献CN110599570A公开了一种基于众包数据开放场景下的地图生成方法及系统，该方法利用集成了感知算法的ADAS相机和车辆行驶时的GPS轨迹信息，进行真实交通设施信息和驾驶行为的收集，通过大数据聚合处理得到开放场景下的地图。但该方法完全依赖车辆自身传感器，虽然可以通过多次测量获取海量数据，但大数据聚合后的结果无法消除自身的系统误差，最后得到的地图无法广泛应用于其它车辆，并且也未涉及非地面地图要素。
发明内容
针对现有技术存在的问题，本发明的目的是提供一种众包高精地图的构建方法、系统及存储介质，利用自车各类传感器，通过细分地面要素和非地面要素，并对环境差异导致的识别结果的误差、系统误差和随机误差进行修正，在车端完成建图，在云端进行融合，得到的地图精度更高，能够满足高级别自动驾驶定位与导航规划的需求。
为实现上述目的，本发明采取以下技术方案：
本发明在第一方面，提供一种基于多摄像头的众包高精地图的构建方法，所述方法分为车端建图与云端融合更新两部分。
S1、车端建图，用于完成自车行驶过程中局部地图构建，具体包括如下步骤：
S11、自车将各个传感器的输入做时间对齐，输入包括各个摄像头的图像数据、GNSS、IMU的位姿数据以及轮速计采集的数据。
S12、采用地图要素感知模型，将图像数据进行语义分割和目标检测，获取像素级和目标级的地图要素分类结果，分为地面元素与非地面元素。
S13、对地图要素分类结果进行特征提取，得到地面特征、非地面特征和点/线特征。
S14、使用特征提取结果构成位姿估计图模型的节点，结合GNSS、IMU的数据得到约束方程，迭代求解获取车辆当前位姿的最优估计。
S15、恢复地面元素和非地面元素的物理尺度。
S16、结合地图要素分类结果进行各地图要素轮廓提取，得到自车车端地图数据。
S17、数据脱敏与加密后，向云服务器自车传输车端地图数据和车身的状态与环境信息。
S2、云端融合更新。主要是通过云端服务器对不同车辆局部建图结果进行融合更新，得到众包高精地图。具体包括如下步骤：
S21、云端系统经过鉴权接收不同车辆上传的自车建图数据，形成海量众包数据；
S22、进行数据清洗与对齐分类，利用现实世界各种道路要素的空间语义信息和关系，进行要素之间的分类和配准对齐，建立数据基准；
S23、对不同车载传感器在同一路段的多次数据进行聚合融合处理，形成准确的认知结果；
S24、对海量众包数据的相同要素数据进行聚类处理，生成众包地图要素数据；
S25、在无传统高精地图的区域众包生成地图数据，再由云端系统融合不同车辆的众包数据形成一个完整准确的高精地图。
以上的方案中，所述地面元素是指铺设在道路表面的元素，包含车道线、人行道、停止线、转向箭头；所述非地面元素是指架设在道路上的元素，包含交通标识、红绿灯、龙门架、杆状物。
进一步地，在以上方案中，所述S17之前，还包括收集车身的状态与环境信息，在进行S18时同时向云服务器传输收集到车身的状态与环境信息。
进一步地，在以上方案中，所述S17中，在向云服务器传输车端地图数据前，需根据云端调度指令确定是否需要上传原始图像数据。
本发明在第二方面，还提供一种基于多摄像头的众包高精地图的构建系统，包括车端建图系统和云端融合更新系统。
所述车端建图系统用于完成自车行驶过程中局部地图构建，包括如下功能模块。
第一数据处理模块，配置为自车将各个传感器的输入做时间对齐，输入包括各个摄像头的图像数据、GNSS、IMU的位姿数据以及轮速计采集的数据。
特征提取模块，配置为采用地图要素感知模型，将图像数据进行语义分割和目标检测，获取像素级和目标级的地图要素分类结果，分为地面元素与非地面元素和点/线特征。
定位模块，配置为使用提取结果作为目标级的特征信息，构成位姿估计图模型的节点，结合GNSS、IMU的数据得到约束方程，迭代求解获取车辆当前位姿的最优估计。
本地建图模块，配置为实现恢复地面元素和非地面元素的物理尺度；然后结合地图要素分类结果进行各地图要素轮廓提取，得到自车车端地图数据。
加密模块，数据脱敏与加密后，向云服务器自车传输车端地图数据。
所述云端融合更新系统别配置为通过云端服务器对不同车辆局部建图结果进行融合更新，得到众包高精地图，包括如下功能模块。
数据接收模块，别只为云端经过鉴权接收不同车辆上传的自车建图数据，形成海量众包数据。
地图学习模块，配置为先进行数据清洗与对齐分类，利用现实世界各种道路要素的空间语义信息和关系，进行要素之间的分类和配准对齐，建立数据基准；然后，对不同车载传感器在同一路段的多趟数据进行聚合融合处理，形成准确的认知结果；最后对海量众包数据的相同要素数据进行聚类处理，生成众包地图要素数据。
地图编辑模块，配置为进行人工编辑、自动化处理和地图验证。
本发明在第三方面，还提供一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现以上所述基于多摄像头的众包高精地图的构建方法。
本发明在第四方面，还提供一种车辆，其包括以上所述的电子设备。
本发明与现有技术相比较具有以下优点：
1、本发明的技术方案中，采集的地图要素更为全面、丰富，不局限于地面元素，通过多摄像头感知，范围更为广泛，再结合位姿优化计算、尺度恢复算法，实现的是地面标线、空中标牌等地图元素，提高了地图的精度。
2、本发明的技术方案中，充分挖掘了“众车”的数据，一方面通过众包建图，另一方面通过云端地图学习将海量的“众包”数据进行融合/更新，消除了单一车辆无法消除的自身误差，最后得到的地图可以更为广泛的服务于其他车辆，量产车型均可用。
本发明得到的地图精度更高，能够满足高级别自动驾驶定位与导航规划的需求。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明而变得容易理解。
附图说明
图1为本发明的一个实施例车端建图的过程示意图；
图2为本发明的一个实施例云端融合更新的过程示意图；
图3为本发明的一个实施中的位姿优化图模型的示意图。
需要说明的是，以上附图用于更好地理解本方案，不构成对本发明的限定。
具体实施方式
以下将通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
参见图1和图2，本发明所述基于多摄像头的众包高精地图的构建，包括车端地图生产和云端地图生产两部分。
在本发明的一实施例种，展示了一种车端地图生产的过程，如图1所示：
S1、车端地图生产，完成自车行驶过程中局部地图构建。
车端系统包含硬件与软件两部分：
硬件为量产车辆搭载的传感器件：前视摄像头、环视摄像头、全球卫星导航系统GNSS、惯性测量单元IMU以及轮速计等。这些传感器件为量产车辆搭载的传感器，均为普通车规级器件，能满足大规模量产的成本要求。
软件部分用于执行以下地图构建过程：
S12、自车将各个传感器的输入做时间对齐，主要是各个摄像头的图像数据与GNSS、IMU的位姿，由于这些传感器的数据输出频率不一致，需要通过插值的方式做时间对齐。
S13、然后将各个摄像头的图像数据作为输入，通过深度学习方法进行语义分割，获取像素级的地图要素分类结果。
在申请的一实施例中，是将各个车载摄像头采集的图像数据输入地图要素感知模型，该地图要素感知模型采用多任务深度神经网络，该网络主要由骨干网(backbone)、neck、任务头(head)组成。骨干网主要完成通用特征的提取，包括但不限于使用CNN(卷积神经网络)或Transformer，或两者的混合作为特征提取的基础单元。通过基础单元的串、并叠加得到特征抽象与学习能力更强的骨干网络；任务头部分主要针对不同的地图要素分为目标检测(object detection)和语义分割(semantic segmentation)任务，通过不同任务的划分，可以更为精细的检测出不同的地图要素：地面标识等(如：车道线、人行横道等)通过语义分割任务获得；交通标牌(如：限速牌、龙门架)、交通信号灯等，通过目标检测任务获得。neck部分主要根据任务头的不同，通过不同的特征金字塔提取相应的更为精细的特征。
本步骤中，采用地图要素感知模型，通过语义分割任务得到像素级的地图要素分类结果，通过目标检测任务得到相应地图要素的矩形检测框。
表1.地图要素感知结果
Figure BDA0003884766160000071
S14、然后在这些地图要素中进行地面元素与非地面元素提取，得到地面特征、非地面特征和点/线特征。
通过地图要素感知模型得到了不同地图要素的语义标签，通过这些语义标签将这些地图要素分为地面要素与非地面要素：地面元素包含：车道线、人行道、停止线、转向箭头等。非地面元素包含：交通标识、红绿灯、龙门架、杆状物等。
对地图要素进行分类提取的目的在于：针对地面与非地面元素采取不同的方式进行尺度恢复可以获得更准确的结果。同时这些地图要素也可以为融合定位提供目标级的特征信息，这些特征信息可以构成位姿估计图模型的节点，结合车辆自身GNSS、IMU的数据得到约束方程，然后通过迭代求解获取车辆当前位姿的最优估计。
另外，以上的点、线特征主要是为位姿优化提供约束用的，不作为众包地图的地图元素，提取方法也比较通用(例如角点检测、霍夫变换)。
S15、使用S14的结果作为目标级的特征信息，利用这些特征信息构成位姿估计图模型的节点，结合车辆自身GNSS、IMU的数据得到约束方程，然后通过迭代求解获取车辆当前位姿的最优估计。
S16、恢复地面元素物理尺度：
S161、恢复地面元素物理尺度：是对T时刻感知到的地面元素GEi，T，通过IPM逆透变换得到尺度一致的“俯视图”表达，同时结合车道线的几何关系可以进一步修正地面元素的尺度。加上T时刻融合定位的结果PT，得到GEi的物理尺度。
具体地，假设T时刻通过上述步骤感知到了地面元素Ei,T(i表示T时刻感知到的第i个地面元素)，T+1时刻感知到了地面元素Ej,T+1(j表示T时刻感知到的第j个地面元素)。通过匹配算法得到T,T+1时刻同一个地图要素在两次感知中的结果为Ei,T与Ej,T+1，此时融合定位的结果为PT与PT+1(包含车辆的位置与姿态)，在车辆的局部范围内，可以认为此范围内的地面地图元素与车辆车轮的着地点在同一水平面。再由Ei,T与Ej,T+1匹配关系结合绝对位姿信息PT与PT+1便可以恢复地图要素的物理尺度。由于传感器的测量不可避免的存在有噪声，因此这种物理尺度恢复的结果依然包含一定的噪声。但由于车辆在行驶过程中会对同一地图要素进行多次观测，因此可以得到同一地图要素的多个绝对物理尺度信息，再通过滤波的方式对多次观测的结果进行融合便可以得到更为准确的物理尺度数据。对一些特定地图要素，如车道线，国标已经规定的车道线的宽度，而这一绝对宽度信息可以为地图要素的物理尺度恢复提供一个很好的约束，因此可以更进一步提高精度。
S162、恢复非地面元素物理尺度
对T时刻感知到的非地面元素N-GEi,T，T+1时刻感知到的非地面元素N-GEj,T+1，其中i表示T时刻感知到的第i个非地面元素，j表示T时刻感知到的第j个非地面元素，通过匹配算法得到T、T+1时刻同一个地图要素在两次感知中的结果为N-GEi,T与N-GEj,T+1，此时融合定位的结果为PT与PT+1，其中包含车辆的位置与姿态，由三角测量恢复出N-GEj相对于自身深度信息，结合绝对定位P即恢复N-GEj的物理尺度。
具体地，假设T时刻通过上述步骤感知到了非地面元素Ei,T(i表示T时刻感知到的第i个非地面元素)，T+1时刻感知到了非地面元素Ej,T+1(j表示T时刻感知到的第j个非地面元素)。通过匹配算法得到T,T+1时刻同一个地图要素在两次感知中的结果为Ei,T与Ej,T+1，此时融合定位的结果为PT与PT+1(包含车辆的位置与姿态)。由于车辆的运动，不同时刻的感知结果存在视差，而由融合定位可以知道T到T+1时刻的位姿变换(旋转矩阵R与平移向量t)，由三角测量可以恢复出E相对于自身深度信息，结合绝对定位P可以恢复E的物理尺度。由于E是由深度学习得到的像素级分类结果，在三角测量的极限搜索时可以只在两帧图像中特定区域内搜索，从而大幅降低误匹配，提高深度估计的精度。最后结合车辆行驶过程中对同一地图要素的多次观测，可以进一步收敛估计误差，得到准确的非地面元素的物理尺度信息。
S17、通过以上步骤得到了各地图要素的绝对物理尺度信息，但由于标定误差的存在，同一个物理目标在各摄像头视角下的感知结果有可能出现重影，因此需要将各摄像头的感知结果与车辆位姿做联合优化，消除重投影产生的误差。再对各摄像头的感知结果进行空间变换，使得各摄像头的感知结果统一在一个坐标系下，然后结合像素级的分割结果进行各地图要素轮廓提取。例如路面导向箭头，只保留箭头轮廓线上的关键点坐标，以及语义标签，将此时的元素表征方式作为矢量化结果。
下面在对以上几步做进一步说明：
对于地面要素，在感知模型的输出结果上通过IPM(inverse perspectivemapping)逆透视变换得到BEV(birdeyeview)视角下的感知结果。这样做的目的是：BEV视角下的地面要素具有一致的尺度，这样可以极大的方便当前场景下地面要素的建图。
对于非地面要素，由感知模型得到了地图要素的检测框，该检测框里包含感兴趣的地图要素，同时也包含部分背景。在各个检测框里采用传统的视觉方法提取角点，将这些角点作为下一步优化的对象。
同时也会在正帧图像上提取传统的视觉特征点，这些传统视觉特征点会参与下一步的跟踪与优化建图。
至此得到了两种待优化的对象：角点与传统视觉特征点。
对于角点，需要在感知模型输出的结果上做目标级的跟踪，目标跟踪通过匈牙利算法(Hungarian Algorithm)和卡尔曼滤波(Kalman Filter)完成：匈牙利算法得到帧间的匹配，卡尔曼滤波预估下一时刻目标的位置。
对于传统视觉特征点，需要根据这些特征点的描述子来衡量帧间特征点的相似度，从而完成跟踪过程。
通过角点与传统视觉特征点的跟踪得到了时间序列上的匹配关系，然后利用对极几何来恢复摄像头初始位姿。
对于位姿估计，通过在每帧图像上根据场景变化率选取关键帧，然后加入IMU输出的位姿数据构成约束因子，同时将通过时间对齐的RTK位置数据加入位姿优化图模型中，优化模型参见图3。
这样，将地图要素、地面要素和非地面要素作为目标级特征信息，利用目标级特征信息构成位姿估计图模型的节点，结合全球卫星导航系统和惯性测量单元采集的位姿数据得到约束方程，通过迭代求解获取车辆当前位姿的最优估计。
通过以上步骤得到了各地图要素的绝对物理尺度信息，对于IPM后的地面要素，需要在语义分割的结果上提取轮廓线，因为每个类别相对于背景都是一个二值化的结果，因此可以通过求解像素梯度变化得到轮廓线。轮廓线的交点作为该地图元素的关键点。由此得到了带语义标签的(语义标签有感知模型给出)矢量化(关键点构成矢量的端点)结果。即，在得到恢复的绝对物理尺度信息后，还要经过目标融合，再矢量化，然后得到几何图层和语义图层。
S18、收集车身的状态与环境信息，例如车辆行驶轨迹，外部光照条件等，这些环境信息对云端评估单车数据能力提供了关键信息。
目前量产车辆都配备了自动感应大灯，因此系统可以知道外部光照的变化。当天气条件不好时，这些气象变化的影响结果会造成亮度的变化，该亮度变化可以被这些感应传感器捕获。同时这些气象变化也会影响感知模块结果的可靠性。因此结合感应传感器的数据对感知结果的置信度做动态调整，以评估单车数据的可靠性。
S19、向云服务器传输车端地图数据，包括：
S191、根据云端调度指令确定是否需要上传原始图像数据，这些原始图像数据对与云端处理异常场景提供关键而全面的信息。
S192、最后经过数据脱敏与加密后向云服务器传输车端地图数据，此时便完成了车端的建图工作。
表1的地图要素感知结果中的地图要素就构成了车端建图数据，具体包含各个地图要素的空间位置、类别、矢量化表示等。
参见图2，在本发明进一步的实施例中，展示了S2云端地图生产的过程，云端地图生产主要是通过云端服务器对不同车辆局部建图结果进行融合更新，得到众包高精地图。
由于车端系统搭载的都是普通的车规级传感器，并无传统高精地图生产中用到激光雷达等高精度、高成本设备，因此，在车端完成的建图不可避免的存在有一定的误差，以及所行驶区域内地图要素的缺失。云端系统在系统运行初期通过使用已有的高精地图作为底图对系统误差进行识别与修正，结合海量的众包地图数据，最后云端可以完成高精度的建图结果，此时可以把这些“经验数据”用于无“底图”区域的地图生产。
具体包括如下过程：
S21、云端系统经过鉴权接收不同车辆上传的自车建图数据。
S22、经过数据清洗与对齐分类，利用现实世界各种道路要素的空间语义信息和关系(可以为高精地图或SD导航电子地图数据或轨迹融合拓扑数据)，进行要素之间的分类和配准对齐，从而降低传感器误报和绝对精度不足导致的问题，为传感器数据有效聚合建立一个相对准确的数据基准。
由于地图数据主要构成为空间位置的表达，因此数据清洗的主要目的为删除位置异常点。通过求解数据的均值与方差可以将某些方差大于设定阈值的点删除。
而数据的对齐分类主要是对车端上传的多次成图结果进行位置、类别对齐。首先在划定区域内的地图进行类别划分，划分的依据为车端上传的地图要素的类别信息。
将它们同时结合(可以为高精地图或SD导航电子地图数据或轨迹融合拓扑数据)，进行要素之间的分类和配准对齐，从而降低传感器误报和绝对精度不足导致的问题，为传感器数据有效聚合建立一个相对准确的数据基准。
S23、通过对不同车载传感器在同一路段的多趟数据进行聚合融合处理，解决动态环境差异导致的识别结果差异以及热度不均等原因导致的各种问题，形成准确的认知结果。
即是对同类别的地图要素通过聚类算法，例如DBSCAN算法聚合出多次成图结果的“质心”，将该“质心”作为该类别地图要素的最终结果，解决动态环境差异导致的识别结果差异以及热度不均等原因导致的各种问题，形成准确的认知结果。
S24、通过对海量众包数据的相同要素数据进行聚类处理、能力评估，解决多车多源传感器数据之间因系统误差或随机误差导致的不同众包数据成图的各种问题，生成精度较高的众包地图要素数据。对于有传统高精地图的区域，利用众包建图的地图更新传统高精地图。即，通过众包建图方式融合出来的地图，有可能传统高精地图里也有，这个时候众包建图的地图可以拿来更新传统高精地图。
S25、上述过程融合了底图的准确信息，修正了量产车建图的系统误差，建图结果可以满足高级别自动驾驶定位与导航规划的需求。此时可以抛弃底图，在无传统高精地图的区域众包生成地图数据，再由云端系统融合不同车辆的众包数据形成一个更为完整准确的高精地图。即，若某个区域没有高精地图，自动驾驶需要用地图的功能就不能工作，而等待传统高精地图在这个区域内生成地图又太久，采用本发明的众包建图，刚好可以弥补这一漏洞。
S26、最后经过地图编译、审图达到发布标准后，可以云端主动推送到车端用于自动驾驶，或车端主动请求一定区域内的高精地图数据。
在本发明的另一实施例中，还提供一种基于多摄像头的众包高精地图的构建系统，该系统包括车端建图系统和云端融合更新系统。
车端建图系统参见图1，用于完成自车行驶过程中局部地图构建，包括如下功能模块：
第一数据处理模块，配置为自车将各个传感器的输入做时间对齐，输入包括各个摄像头的图像数据、GNSS、IMU的位姿数据以及轮速计采集的数据；
特征提取模块，配置为采用地图要素感知模型，将图像数据进行语义分割，获取像素级的地图要素分类结果，分为地面元素与非地面元素；对地图要素分类结果进行特征提取，得到地面特征、非地面特征和点/线特征；
定位模块，配置为使用提取结果作为目标级的特征信息，构成位姿估计图模型的节点，结合GNSS、IMU的数据得到约束方程，迭代求解获取车辆当前位姿的最优估计；
本地建图模块，配置为实现恢复地面元素和非地面元素的物理尺度；然后结合地图要素分类结果进行各地图要素轮廓提取，得到自车车端地图数据；
加密模块，数据脱敏与加密后，向云服务器自车传输车端地图数据。
参见图2，云端融合更新系统配置为通过云端服务器对不同车辆局部建图结果进行融合更新，得到众包高精地图，包括如下功能模块：
数据接收模块，被配置为云端经过鉴权接收不同车辆上传的自车建图数据，形成海量众包数据；
地图学习模块，配置为先进行数据清洗与对齐分类，利用现实世界各种道路要素的空间语义信息和关系，进行要素之间的分类和配准对齐，建立数据基准；然后，对不同车载传感器在同一路段的多趟数据进行聚合融合处理，形成准确的认知结果；最后对海量众包数据的相同要素数据进行聚类处理，生成众包地图要素数据；
地图编辑模块，配置为进行人工编辑、自动化处理和地图验证。人工编辑主要是对一些极端情况，依靠程序算法解决不了的场景(例如超复杂的立交)，需要人工介入做一些处理，然后自动化处理是指地图数据格式的自动化转换，转化完验证没有问题就开始编译。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明公开的技术方案所期望的结果，本文在此不进行限制。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (14)

1.一种众包高精地图的构建方法，其特征在于，包括步骤：
S1，车端建图，完成自车行驶过程中局部地图构建；
S11，自车将各个传感器的输入做时间对齐，输入包括各个摄像头的图像数据、全球卫星导航系统GNSS的数据、惯性测量单元IMU的数据以及轮速计采集的数据；
S12，采用地图要素感知模型，将图像数据进行语义分割和目标检测，获取像素级和目标级的地图要素分类结果，分为地面元素与非地面元素；
S13，对地图要素分类结果进行特征提取，得到地面特征、非地面特征；
S14，使用特征提取的结果构成位姿估计图模型的节点，结合GNSS、IMU的数据得到约束方程，迭代求解获取车辆当前位姿的最优估计；
S15，恢复地面元素和非地面元素的物理尺度；
S16，结合地图要素分类结果进行各地图要素轮廓提取，得到自车车端地图数据；
S17，数据脱敏与加密后，向云服务器传输车端地图数据；
S2，云端服务器对不同车辆局部建图结果进行融合更新，得到众包高精地图。
2.根据权利要求1所述的众包高精地图的构建方法，其特征在于，所述地面元素是指铺设在道路表面的元素，包含车道线、人行道、停止线、转向箭头；所述非地面元素是指架设在道路上的元素，包含交通标识、红绿灯、龙门架、杆状物。
3.根据权利要求1或2所述的众包高精地图的构建方法，其特征在于，所述地图要素感知模型采用多任务深度神经网络，网络包括骨干网、neck、任务头，骨干网完成通用特征提取，任务头针对不同的地图要素分为目标检测和语义分割任务，通过语义分割任务得到像素级的地图要素分类结果，通过目标检测任务得到相应地图要素的矩形检测框；neck部分根据任务头的不同，通过不同的特征金字塔提取相应的更为精细的特征。
4.根据权利要求1或2所述的众包高精地图的构建方法，其特征在于，所述S15包括：
S151，恢复地面元素物理尺度：对T时刻感知到的地面元素GEi，T，通过IPM逆透变换得到尺度一致的“俯视图”表达，同时结合车道线的几何关系进一步修正地面元素的尺度，加上T时刻融合定位的结果PT，得到GEi的物理尺度；
S152，恢复非地面元素物理尺度：对T时刻感知到的非地面元素N-GEi,T，T+1时刻感知到的非地面元素N-GEj,T+1，其中i表示T时刻感知到的第i个非地面元素，j表示T时刻感知到的第j个非地面元素，通过匹配算法得到T、T+1时刻同一个地图要素在两次感知中的结果为N-GEi,T与N-GEj,T+1，此时融合定位的结果为PT与PT+1，其中包含车辆的位置与姿态，由三角测量恢复出N-GEj相对于自身深度信息，结合绝对定位P即恢复N-GEj的物理尺度。
5.根据权利要求4所述的众包高精地图的构建方法，其特征在于，对于S151还包括，通过车辆在行驶过程中对同一地图要素的多次观测，得到同一地图要素的多个绝对物理尺度信息，通过滤波对多次观测的结果进行融合得到更为准确的地面元素的绝对物理尺度数据。
6.根据权利要求4所述的众包高精地图的构建方法，其特征在于，对于S152还包括，结合车辆行驶过程中对同一地图要素的多次观测，进一步收敛估计误差，得到准确的非地面元素的物理尺度信息。
7.根据权利要求1或2所述的众包高精地图的构建方法，其特征在于，所述S16具体是：对于各地图要素的绝对物理尺度信息，将各摄像头的感知结果与车辆位姿做联合优化，消除重投影产生的误差；再对各摄像头的感知结果进行空间变换，将各摄像头的感知结果统一在一个坐标系下，然后结合像素级的分割结果进行各地图要素轮廓提取。
8.根据权利要求1或2所述的众包高精地图的构建方法，其特征在于，在所述S18之前，还包括收集车身的状态与环境信息，在进行S18时同时向云服务器传输收集到车身的状态与环境信息。
9.根据权利要求1或2所述的众包高精地图的构建方法，其特征在于，所述S18中，在向云服务器传输车端地图数据前，需根据云端调度指令确定是否需要上传原始图像数据。
10.根据权利要求1或2所述的众包高精地图的构建方法，其特征在于，所述S2云端融合更新包括：
S21、云端系统经过鉴权接收不同车辆上传的自车建图数据，形成海量众包数据；
S22、进行数据清洗与对齐分类，利用现实世界各种道路要素的空间语义信息和关系，进行要素之间的分类和配准对齐，建立数据基准；
S23、对不同车载传感器在同一路段的多次数据进行聚合融合处理，形成准确的认知结果；
S24、对海量众包数据的相同要素数据进行聚类处理，生成众包地图要素数据；对于有传统高精地图的区域，利用众包建图的地图更新传统高精地图；
S25、在无传统高精地图的区域众包生成地图数据，由云端系统融合不同车辆的众包数据形成一个完整准确的高精地图。
11.一种众包高精地图的构建系统，其特征在于，包括车端建图系统和云端融合更新系统；
所述车端建图系统用于完成自车行驶过程中局部地图构建，包括如下功能模块：
第一数据处理模块，配置为自车将各个传感器的输入做时间对齐，输入包括各个摄像头的图像数据、GNSS、IMU的位姿数据以及轮速计采集的数据；
特征提取模块，配置为采用地图要素感知模型，将图像数据进行语义分割和目标检测，获取像素级和目标级的地图要素分类结果，分为地面元素与非地面元素；
定位模块，配置为使用提取结果作为目标级的特征信息，构成位姿估计图模型的节点，结合GNSS、IMU的数据得到约束方程，迭代求解获取车辆当前位姿的最优估计；
本地建图模块，配置为实现恢复地面元素和非地面元素的物理尺度；然后结合地图要素分类结果进行各地图要素轮廓提取，得到自车车端地图数据；
加密模块，数据脱敏与加密后，向云服务器自车传输车端地图数据；
所述云端融合更新系统别配置为通过云端服务器对不同车辆局部建图结果进行融合更新，得到众包高精地图。
12.根据权利要求11所述的众包高精地图的构建系统，其特征在于，所述云端融合更新系统包括如下功能模块：
数据接收模块，配置为云端经过鉴权接收不同车辆上传的自车建图数据，形成海量众包数据；
地图学习模块，配置为先进行数据清洗与对齐分类，利用现实世界各种道路要素的空间语义信息和关系，进行要素之间的分类和配准对齐，建立数据基准；然后，对不同车载传感器在同一路段的多趟数据进行聚合融合处理，形成准确的认知结果；最后对海量众包数据的相同要素数据进行聚类处理，生成众包地图要素数据；对于有传统高精地图的区域，利用众包建图的地图更新传统高精地图；在无传统高精地图的区域众包生成地图数据，由云端系统融合不同车辆的众包数据形成一个完整准确的高精地图；
地图编辑模块，配置为进行人工编辑、自动化处理和地图验证。
13.一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现权利要求1至10中任一项所述众包高精地图的构建方法。
14.一种车辆，其特征在于，配置有权利要求13所述的电子设备。
CN202211239758.1A 2022-07-21 2022-10-11 一种众包高精地图的构建方法、系统、电子设备及车辆 Pending CN115564865A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210859285 2022-07-21
CN2022108592859 2022-07-21

Publications (1)

Publication Number Publication Date
CN115564865A true CN115564865A (zh) 2023-01-03

Family

ID=84744055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211239758.1A Pending CN115564865A (zh) 2022-07-21 2022-10-11 一种众包高精地图的构建方法、系统、电子设备及车辆

Country Status (1)

Country Link
CN (1) CN115564865A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228925A (zh) * 2023-05-04 2023-06-06 北京集度科技有限公司 地图生成方法、装置及计算机设备
CN116562601A (zh) * 2023-07-11 2023-08-08 昆明理工大学 一种适用于自动驾驶物流车进出室内外的运行调度方法
CN116878487A (zh) * 2023-09-07 2023-10-13 河北全道科技有限公司 一种用于建立自动驾驶地图的方法、装置、车辆和服务器

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228925A (zh) * 2023-05-04 2023-06-06 北京集度科技有限公司 地图生成方法、装置及计算机设备
CN116228925B (zh) * 2023-05-04 2023-08-08 北京集度科技有限公司 地图生成方法、装置及计算机设备
CN116562601A (zh) * 2023-07-11 2023-08-08 昆明理工大学 一种适用于自动驾驶物流车进出室内外的运行调度方法
CN116562601B (zh) * 2023-07-11 2023-09-12 昆明理工大学 一种适用于自动驾驶物流车进出室内外的运行调度方法
CN116878487A (zh) * 2023-09-07 2023-10-13 河北全道科技有限公司 一种用于建立自动驾驶地图的方法、装置、车辆和服务器
CN116878487B (zh) * 2023-09-07 2024-01-19 河北全道科技有限公司 一种用于建立自动驾驶地图的方法、装置、车辆和服务器

Similar Documents

Publication Publication Date Title
CN111862672B (zh) 基于顶视图的停车场车辆自定位及地图构建方法
US20210311490A1 (en) Crowdsourcing a sparse map for autonomous vehicle navigation
AU2017300097B2 (en) Crowdsourcing and distributing a sparse map, and lane measurements for autonomous vehicle navigation
Alonso et al. Accurate global localization using visual odometry and digital maps on urban environments
EP4191532A1 (en) Image annotation
CN110462343A (zh) 基于地图的用于车辆的自动图像标记
CN115564865A (zh) 一种众包高精地图的构建方法、系统、电子设备及车辆
Senlet et al. Satellite image based precise robot localization on sidewalks
CN108428254A (zh) 三维地图的构建方法及装置
Cao et al. Camera to map alignment for accurate low-cost lane-level scene interpretation
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
Jung et al. Curb detection and tracking in low-resolution 3d point clouds based on optimization framework
Zhou et al. Developing and testing robust autonomy: The university of sydney campus data set
Dawood et al. Harris, SIFT and SURF features comparison for vehicle localization based on virtual 3D model and camera
Li et al. Visual map-based localization for intelligent vehicles from multi-view site matching
CN117576652B (zh) 道路对象的识别方法、装置和存储介质及电子设备
Venator et al. Robust camera pose estimation for unordered road scene images in varying viewing conditions
Zhou et al. Visual mapping and localization system based on compact instance-level road markings with spatial uncertainty
Tao et al. Automated processing of mobile mapping image sequences
CN112446915A (zh) 一种基于图像组的建图方法及装置
Yuan et al. Estimation of vehicle pose and position with monocular camera at urban road intersections
Jung et al. Intelligent hybrid fusion algorithm with vision patterns for generation of precise digital road maps in self-driving vehicles
Jiang et al. Precise vehicle ego-localization using feature matching of pavement images
KR20220151572A (ko) IPM 이미지와 정밀도로지도(HD Map) 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법 및 시스템
Evlampev et al. Map relative localization based on road lane matching with Iterative Closest Point algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination