CN114509065B - 地图构建方法、系统、车辆终端、服务器端及存储介质 - Google Patents

地图构建方法、系统、车辆终端、服务器端及存储介质 Download PDF

Info

Publication number
CN114509065B
CN114509065B CN202210142798.8A CN202210142798A CN114509065B CN 114509065 B CN114509065 B CN 114509065B CN 202210142798 A CN202210142798 A CN 202210142798A CN 114509065 B CN114509065 B CN 114509065B
Authority
CN
China
Prior art keywords
map
space
maps
information
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210142798.8A
Other languages
English (en)
Other versions
CN114509065A (zh
Inventor
李一龙
范圣印
韩鸿毅
金凌鸽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yihang Yuanzhi Technology Co Ltd
Original Assignee
Beijing Yihang Yuanzhi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yihang Yuanzhi Technology Co Ltd filed Critical Beijing Yihang Yuanzhi Technology Co Ltd
Priority to CN202210142798.8A priority Critical patent/CN114509065B/zh
Publication of CN114509065A publication Critical patent/CN114509065A/zh
Application granted granted Critical
Publication of CN114509065B publication Critical patent/CN114509065B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)

Abstract

本发明涉及一种地图构建方法、系统、车辆终端、服务器端及存储介质，该方法通过在车辆终端建立包含局部语义信息的第一地图，在服务器端建立用于定位的第二地图及包含道路拓扑结构及目标推荐轨迹的第三地图，解决了现有技术中直接用原始图像构建第二地图带来的计算量大、制作困难的问题。另外，由于用于定位的第二地图是基于第一地图构建的，而第一地图包含了车辆周边环境的局部语义信息，因此传输数据量低，便于数据获取及建立、制作高精度地图。再者，本发明提供的技术方案，对生成第二地图的车辆轨迹信息进行了利用，相比现有技术，算法功能集成度更高，更能满足用户个性化的路径规划及导航需求，用户体验度更好、满意度更高。

Description

地图构建方法、系统、车辆终端、服务器端及存储介质
技术领域
本发明涉及地图构建技术领域，具体涉及一种地图构建方法、系统、车辆终端、服务器端及存储介质。
背景技术
在自动驾驶领域，高精地图的制作必不可少。传统的高精地图制作方式为：携带GPS-RTK(RTK又称载波相位差分：基准站通过数据链及时将其载波观测量及站坐标信息一同传送给用户站。用户站接收GPS卫星的载波相位与来自基准站的载波相位，并组成相位差分观测值进行及时处理，能及时给出厘米级的定位结果)、高精度IMU、相机、Lidar等传感器的车辆采集数据并发送至云端服务器，云端服务器进行数据处理并人工编辑后生成高精地图并发布。这种作业方式需要昂贵的专业采集车辆和人工编辑，难以实现高精地图的快速更新且费用较高。
众包建图作为一种新兴的制图方式，众包车辆采用低精度传感器，如低精度IMU、GPS、相机等，进行环境数据采集或地图建立，众包车辆采集数据并上传至服务器，服务器处理众包数据并生成高精度地图，下发至众包车辆进行定位。众包车辆既是数据的生产者又是数据的消费者，达到了精度高、更新频率快、大规模快速建图的要求。
相关技术中，提供了一种地图构建方法、装置、设备和系统，涉及到一种地图构建方法，分别应用在可移动设备、服务器设备中。该方法通过采集当前移动环境中的样本数据，进而确定可移动设备的绝对位姿和语义实体的属性信息，构建移动环境的实时语义地图；服务器获取移动环境的语义地图并进行解析，对实时语义地图和先验语义地图进行融合，生成融合后的语义地图。该方法中，在服务器不能够提供精确的定位地图时，进行当前地图与定位地图的关联是困难的。另外，全局一致的地图在大规模场景下制作是困难的。最后在定位地图的使用过程中，针对生成定位地图的多条轨迹信息没有加以利用。
相关技术中，还提供了一种基于图像组的建图方法及装置，该方法通过获取车辆在同一位置区域多次行驶的多组道路图像数据及其对应位置，使用语义特征对各组道路图像进行数据关联，确定关联语义特征在世界坐标系下的位置，并利用重投影误差优化语义特征在世界坐标系下的位置，进而完成地图的构建。该方法使用原始图像作为建图系统的输入，存在数据量大及计算量大的问题。
发明内容
有鉴于此，本发明的目的在于提供一种地图构建方法、系统、车辆终端、服务器端及存储介质，以解决现有技术中定位地图的生成计算量大、精度不高及用于生成定位地图的车辆轨迹信息没有加以利用的问题。
根据本发明实施例的第一方面，提供一种地图构建方法，应用于车辆终端，包括：
获取当前车辆的自身状态信息及周边环境信息；
根据所述自身状态信息及周边环境信息，构建包含局部语义信息的第一地图，并将所述第一地图发送给服务器端，以使服务器端根据所述第一地图，生成用于定位的第二地图，并根据所述第二地图，生成包含道路拓扑结构及目标推荐轨迹的第三地图。
获取当前车辆的自身状态信息及周边环境信息；
根据所述自身状态信息及周边环境信息，构建包含局部语义信息的第一地图，并将所述第一地图发送给服务器端，以使服务器端根据所述第一地图，生成用于定位的第二地图，并根据所述第二地图，生成包含道路拓扑结构及目标推荐轨迹的第三地图。
优选地，所述构建包含局部语义信息的第一地图，包括：
根据当前车辆的自身状态信息，构建车辆里程计；
对所述周边环境信息进行语义信息检测，以检测出当前车辆周边环境中带有特定语义信息的空间物体，并对所述空间物体的位姿进行估计；
将所述车辆里程计、修正后的空间物体的位姿，与建图时的时间信息、天气信息、车辆信息进行结合，生成第一地图；所述第一地图至少包括：当前车辆的行驶轨迹及周边环境中带有特定语义信息的空间物体。
优选地，所述周边环境信息，通过相机采集的原始图像获取；
则，所述对所述周边环境信息进行语义信息检测，包括：
使用深度学习的检测方法，输出空间物体在原始图像中的包围框、类别；
对包围框中的图像，按照所属类别的不同提取特征点、描述子；
其中，所述包围框、类别用于图像间空间物体的快速匹配；
所述特征点和描述子用于图像间空间物体的精细匹配。
优选地，所述对所述空间物体的位姿进行修正，包括：
对时间轴上前后两帧原始图像，根据语义信息检测结果进行空间物体的数据关联，以完成前后两帧原始图像中空间物体的精准匹配；
对完成数据关联的空间物体，进行对应特征点的三角化；
对完成特征点三角化的空间物体，根据空间物体的先验约束条件，修正空间物体在第一地图中的位姿。
优选地，连续时刻构建的第一地图，存在预设特征范围的重叠区域。
根据本发明实施例的第二方面，提供一种地图构建方法，应用于服务器端，包括：
获取至少一个车辆终端发送的第一地图；所述车辆终端通过获取当前车辆的自身状态信息及周边环境信息；根据所述自身状态信息及周边环境信息，构建包含局部语义信息的第一地图；
根据所述第一地图，生成用于定位的第二地图；
根据所述第二地图，生成包含道路拓扑结构及目标推荐轨迹的第三地图。
优选地，所述根据所述第一地图，生成用于定位的第二地图，包括：
对所述第一地图进行分组；
根据分组后的第一地图，生成用于定位的第二地图；
所述分组后的第一地图，至少包括：同一位置、同一时间段、同一季节、不同车辆类型的多个第一地图组别。
优选地，所述对第一地图进行分组，包括：
根据第一地图所表征的空间位置信息，将位于同一道路区域同一行进方向的第一地图划分为同一组，得到初始分组结果；
根据第一地图所表征的其他信息，对初始分组结果中的第一地图进行二次分组，得到精细分组结果；所述其他信息至少包括：时间信息、季节信息、天气信息和车辆信息。
优选地，所述方法，还包括：
评估精细分组结果中第一地图的成熟度，并将成熟度低于阈值的第一地图确认为质量不佳的第一地图；所述成熟度至少包括以下项中的一项：空间物体感知的置信度、空间物体的数量、空间物体位置的不确定度；
删除质量不佳的第一地图；
则，所述根据所述第一地图，生成用于定位的第二地图，具体为：
根据删除质量不佳的第一地图后剩余的第一地图，生成用于定位的第二地图。
优选地，所述根据分组后的第一地图，生成用于定位的第二地图，包括：
第一地图的对齐：在已知偏移量及偏移量的不确定度的备选对齐方法中，选取偏移量的不确定度低的对齐方法，将第一地图对齐；
第一地图间的数据关联：对对齐后的第一地图上的空间物体，进行物体级数据关联和特征点级别数据关联，以实现空间物体的精准匹配；
第二地图的初始化：根据第一地图对齐时的偏移量，将多个第一地图定位到随机选取的某一第一地图的坐标系中，并将来自不同第一地图的具有关联关系的空间物体看作物理空间存在物体在不同第一地图中的观测，利用多个第一地图中的观测，预估第二地图中空间物体的位姿的初始值；
第二地图的优化：根据对齐后的第一地图中空间物体之间的物体级数据关联关系和特征点级别数据关联关系，建立误差函数，并根据建立的误差函数对预估的第二地图中空间物体的位姿进行优化；
第二地图的调整：对于具有空间上下文特性、位置先验的空间物体，按照该空间物体的特性对第二地图中该空间物体的位姿进行调整；
具有重叠区域的第二地图的调整：计算具有重叠区域的第二地图间的偏移量，并根据所述偏移量，调整车辆在第二地图间切换时的位姿。
优选地，所述根据所述第二地图，生成包含道路拓扑结构及目标推荐轨迹的第三地图，包括：
根据第二地图中的行驶轨迹和车道拓扑结构，生成第三地图的车道拓扑结构；
对第二地图中来源于相同组别的第一地图的行驶轨迹进行融合或聚类，生成第三地图的目标推荐轨迹。
根据本发明实施例的第三方面，提供一种车辆终端，用于执行上述的地图构建方法。
根据本发明实施例的第四方面，提供一种服务器端，用于执行上述的地图构建方法。
根据本发明实施例的第五方面，提供一种地图构建系统，包括：
至少一个上述的车辆终端，和/或，上述的服务器端。
根据本发明实施例的第六方面，提供一种计算机可读存储介质，其上存储有可擦写的计算机程序；
当所述计算机程序在计算机设备上运行时，使得所述计算机设备执行上述的地图构建方法，和/或，上述的地图构建方法。
本发明的实施例提供的技术方案可以包括以下有益效果：
通过在车辆终端建立包含局部语义信息的第一地图，在服务器端建立用于定位的第二地图及包含道路拓扑结构及目标推荐轨迹的第三地图，解决了现有技术中直接用原始图像构建第二地图带来的计算量大、制作困难的问题。
另外，由于用于定位的第二地图是基于第一地图构建的，而第一地图包含了车辆周边环境的局部语义信息，因此相比现有技术中直接使用原始图像构建出的第二地图，传输数据量低，便于数据获取及建立、制作高精度地图。
再者，本发明提供的技术方案，能够根据第二地图，生成包含道路拓扑结构及目标推荐轨迹的第三地图，对生成第二地图的车辆轨迹信息进行了利用，相比现有技术，算法功能集成度更高，更能满足用户个性化的路径规划及导航需求，用户体验度更好、满意度更高。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种地图构建方法的流程图；
图2是根据另一示例性实施例示出的一种地图构建方法的流程图；
图3是根据一示例性实施例示出的一种地图构建系统的示意框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
由前面背景技术所述，现有技术中存在定位地图的生成计算量大、精度不高及用于生成定位地图的车辆轨迹信息没有加以利用的问题。本发明为了解决该技术问题，提供的技术方案主要思路为：
1、在车辆终端生成包含局部语义信息的第一地图(第一地图的实现方式，可参见实施例一和实施例三的相关介绍)；
2、在服务器端生成用于定位的第二地图(第二地图的实现方式，可参见实施例二和实施例四的相关介绍)；
3、在服务器端生成包含道路拓扑结构及目标推荐轨迹的第三地图(第三地图的实现方式，可参见实施例二和实施例四的相关介绍)。
需要说明的是，第一地图包含局部语义信息，第二地图基于多个不同的第一地图组别生成，即多个第一地图组别生成一个第二地图；第三地图基于第二地图构建，一个第二地图生成多个第三地图。一个第一地图组别与一个第三地图一一对应，一个第一地图组别与其他第一地图组别共享一个第二地图。第一地图与第三地图与车辆类型有关，第二地图与车辆类型无关。
关于第二地图与第一地图组别的关系：由于第二地图用于定位，因此与时间、季节、天气因素相关。例如：由于不同季节树叶长势不同，会影响对树干的检测；不同时间段，如早晨和夜晚，会影响检测和描述子的性能。因此将同一季节(如夏天)同一时间段(如上午)同一位置的不同第一地图组别合并，作为第二地图生成模块的输入，生成第二地图；作为输入的这些第一地图组别将共享该第二地图。
关于第三地图与第一地图组别的关系：由于不同类型车辆在不同天气下、不同车速下会采用不同的道路规划轨迹，因此对于每个第一地图组别，都会对应生成一个第三地图用于路径规划与目标轨迹。
关于第二地图、第三地图的选取：在车辆使用第二、三地图进行定位和轨迹推荐时，根据车辆当前所处位置、车辆信息、季节信息、时间信息、天气信息，查找出对应的第一地图组别，进而获得该组别对应的第二、三地图，根据第二、三地图信息进行定位和轨迹推荐。
为了更好地理解本发明的发明构思，现对本发明各实施例的具体实现方式解释说明如下：
实施例一
图1是根据一示例性实施例示出的一种地图构建方法的流程图，该方法应用于车辆终端，如图1所示，该方法包括：
步骤S11、获取当前车辆的自身状态信息及周边环境信息；
步骤S12、根据所述自身状态信息及周边环境信息，构建包含局部语义信息的第一地图，并将所述第一地图发送给服务器端，以使服务器端根据所述第一地图，生成用于定位的第二地图，并根据所述第二地图，生成包含道路拓扑结构及目标推荐轨迹的第三地图。
需要说明的是，本实施例提供的技术方案，适用于自动驾驶、辅助驾驶技术领域，尤其适用于基于众包数据的地图构建场景。
在具体实践中，所述车辆终端以程序代码的形式存在(包括但不限于程序功能模块形式存在，或者，APP形式存在)，直接加载在当前车辆的中控系统中；或者，所述车辆终端以程序代码的形式存在，存储在与车辆的中控系统相连的存储设备中，中控系统通过对程序的调用，实现相应的地图构建功能；或者，所述车辆终端以车载电子设备的形式存在(例如，电子地图构建器)，该车载电子设备中加载有所述地图构建方法。
在具体实践中，车辆终端根据当前车辆的自身状态信息及周边环境信息，利用实时/离线的方法建立第一地图。
在具体实践中，步骤S11中“获取当前车辆的自身状态信息及周边环境信息”，具体实现方式包括：
1、所述周边环境信息，通过相机采集的原始图像获取。
周边环境信息是指车辆所处周围环境信息。在本实施例中，使用单目相机获取周边环境信息，但也可以使用包括双目相机、鱼眼相机、深度相机、红外相机在内的其他类型相机。
需要获取的周边环境信息为能够对车辆行驶提供帮助的周边环境信息，主要包括道路交通标志、道路交通标线、障碍物及其他物体。
道路交通标志和道路交通标线可以参考但不限于GB5768中的定义。
障碍物是指影响车辆正常行驶的物体，包括：动态障碍物，如车辆、行人等；静态障碍物，如土堆、地坑等。
其他物体是指包括井盖、路灯、灯杆、树干、隔离带、路沿、栅栏、可见的广告牌、标志性建筑等在道路场景中可以辅助车辆进行定位的空间物体。
2、所述自身状态信息，通过车载传感器获取。
自身状态信息是指车载传感器获取的信息，车载传感器包括但不限于：惯性测量单元、轮式里程计、RTK/GPS，用以测量车辆的加速度、角速度、行进距离、位置等信息。在本实施例中，使用相机、惯性测量单元、轮式里程计、RTK/GPS获取车辆自身状态。
在具体实践中，步骤S12中“构建包含局部语义信息的第一地图”，包括：
一、根据当前车辆的自身状态信息，构建车辆里程计。
二、对所述周边环境信息进行语义信息检测，以检测出当前车辆周边环境中带有特定语义信息的空间物体，包括：
1、使用深度学习的检测方法，输出空间物体在原始图像中的包围框、类别；
2、对包围框中的图像，按照所属类别的不同提取特征点、描述子；
其中，所述包围框、类别用于图像间空间物体的快速匹配；
所述特征点和描述子用于图像间空间物体的精细匹配。
包围框用于表示检测出的空间物体所在区域，可以选取矩形、四边形、梯形、圆形、椭圆形等各种形状的包围框。本实施例中使用的包围框体为图像中竖直的矩形框。在本实施例中使用深度学习框架Yolov5获得包围框，具体内容不再赘述。
类别分为具有明确属性的类别和不具有明确属性的类别。明确属性的类别包括：虚线、实线、停止线、人行横道、井盖、树干、灯杆、路灯等；不具有明确属性的类别包括：指路标志、旅游区标志、建筑物形状、附着于建筑物上的文字、地面文字标记等。在本实施例中，使用Yolov5进行目标检测，并在连续帧中进行目标跟踪，确认该空间物体的类别，具体过程不再赘述。
特征点用于对周围环境中静止的空间物体进行精确的匹配以及位姿估计，对于如车辆、行人等检测结果。根据该空间物体的类别不同，有不同的选择方法。对于具有明确属性类别的空间物体，特征点的选择方法包括：检测到的灯杆、树干等杆状物，使用顶部、底部的两个端点作为特征点；选择停止线与车道线的交叉点作为停止线的特征点；使用一定距离的采样点作为实线车道线的描述；选择虚线车道线的虚线段与实线段的交替点及车道线的描述方程作为虚线车道线的特征点的描述；选择三角形标志的三个角点及其中心点作为该标志的特征点等。对于不具有明确属性类别的空间物体，选择在包围框区域按照一定规则获得采样点作为特征点进行描述，如均匀分布采样，也可以按照语义进行特征点采样，如FAST角点、SIFT角点、SURF角点等。
描述子根据空间物体的特征点生成，用于表征特征点周围的局部信息，用于对检测到的空间物体细节上的描述，以方便进行特征点级别的数据关联。
三、对所述空间物体的位姿进行估计，包括：
1、对时间轴上前后两帧原始图像，根据语义信息检测结果进行空间物体的数据关联，以完成前后两帧原始图像中空间物体的精准匹配(由于每张原始图像中所包含的空间物体数量不多，通过空间物体的类别和包围框所对应的位置，可以快速地查找出对应的空间物体；再根据关联的空间物体，利用对应的特征点可进行细节匹配)；
可以理解的是，由于车辆行进过程中，所观察到的空间物体可能会被遮挡。因此使用特征点进行匹配是重要的；由于感知可能存在误差，可以使用对包围框或特征点跟踪的方法对语义信息检测结果进行修正。
2、对完成数据关联的空间物体，进行对应特征点的三角化(根据上述两帧原始图像对应时刻的里程计计算的车辆位姿、视觉传感器的外参，得到这两张原始图像对应时刻的相机的相对位姿，并根据相机内参对完成精准匹配的空间物体的对应特征点进行三角化)；
3、对完成特征点三角化的空间物体，根据空间物体的先验约束条件(即物体的自约束)，修正空间物体在第一地图中的位姿。
以空间物体为标志牌为例，标志牌上的特征点应该位于同一个平面上，某些标志牌应符合某一种特定的形状等，进而利用物体的自约束，完成不同物体三维空间中位姿的推算。
以矩形标志牌为例，在原始图像中，使用检测矩形框的中心、矩形标志牌的四个角点作为特征点，按照左上、右上、右下、左下的顺序对特征点进行编号。根据里程计、外参，获得两帧图像对应时刻在局部坐标系下的相机坐标系的位姿。对矩形标志牌的空间姿态进行描述，包括标志牌的中心、四个角点的三维位置，以及从中心引出的用以表示该矩形标志牌的单位向量，即该矩形标志牌的法向量。根据矩形标志牌的先验知识，矩形的对边长度相等，四个角点到中心点距离相等，五个点位于同一平面上。该标志牌的法向量可以通过下式进行估计：
其中，法向量为三维实数空间R3的一个向量，/>保证该向量为单位向量。x0为该矩形标志牌中心的三维空间的坐标，xi表示第i个角点的三维空间的坐标，其中i＝1代表左上，i＝2代表右上，i＝3代表右下，i＝4代表左下。根据估计出的该矩形标志牌法向量，矩形标志牌的误差函数可以通过下式进行表述：
其中，P表示空间物体的位姿，包括中心点坐标，四个角点坐标，以及法向量，D0为中心点到各个角点的距离的方差，D1为与/>的长度的方差，D2为/>与/>的长度的方差。
当引入第n帧原始图像(n>2)时，根据当前帧与之前帧(n-1，n-2…2,1)进行数据关联，并根据三维空间中的物体与当前帧图像相关联的检测结果进行匹配，进而获得三维空间物体的特征点与当前帧图像检测到的对应物体中特征点的关联关系，结合该类型物体的先验知识，建立误差函数，对该物体在三维空间中的位姿进行优化。
在一个实施例中，一个矩形标志牌的误差函数由重投影和物体的自约束组成，公式如下:
其中，P表示物体的位姿，f(P)表示该物体的误差函数，ξi表示第i个车体位姿的李代数表示，xj表示物体的第j个特征点的位置，ui,j为物体的第j个特征点在第i帧中的像素坐标，si,j为归一化参数，K表示相机内参，E表示车辆坐标系到相机坐标系的外参，ep(P)为根据自约束构建的误差。
四、将所述车辆里程计、修正后的空间物体的位姿，与建图时的时间信息、天气信息、车辆信息进行结合，生成第一地图；所述第一地图至少包括：当前车辆的行驶轨迹及周边环境中带有特定语义信息的空间物体。
需要说明的是，建图时候的天气信息，可以通过车辆终端将当前时间、当前车辆所处纬度、经度信息发送给服务器端，通过服务器端获取；若车载GPS或其他软件具有天气信息获取功能，也可以通过与车载GPS或其他软件进行信息交互获取。
在具体实践中，连续时刻构建的第一地图，存在预设特征范围的重叠区域。所述预设特征范围包括但不限于：预设路程长度范围、预设区域面积范围等。
可以理解的是，根据里程计获得的车辆位姿在局部区域内较为准确，但在长期的过程中受到传感器精度、RTK/GPS失效、轮式里程计打滑等问题的影响，使得误差随着时间、路程的增长变大。因此，车辆终端仅建立包含局部语义信息的第一地图，例如，每次仅建立距离为200m的第一地图。且相邻的两个第一地图中存在100m的重叠。该重叠长度可以根据路况进行调整，例如：在路况条件好或可用于定位的空间物体不多时可适当增加该长度，弯道处应适当减小该长度，以保证局部地图的精度。
可以理解的是，本实施例提供的技术方案，通过在车辆终端建立包含局部语义信息的第一地图，在服务器端建立用于定位的第二地图及包含道路拓扑结构及目标推荐轨迹的第三地图，解决了现有技术中直接用原始图像构建第二地图带来的计算量大、制作困难的问题。
另外，由于用于定位的第二地图是基于第一地图构建的，而第一地图包含了车辆周边环境的局部语义信息，因此相比现有技术中直接使用原始图像构建出的第二地图，传输数据量低，便于数据获取及建立、制作高精度地图。
再者，本实施例提供的技术方案，能够根据第二地图，生成包含道路拓扑结构及目标推荐轨迹的第三地图，对生成第二地图的车辆轨迹信息进行了利用，相比现有技术，算法功能集成度更高，更能满足用户个性化的路径规划及导航需求，用户体验度更好、满意度更高。
实施例二
图2是根据另一示例性实施例示出的一种地图构建方法的流程图，该方法应用于服务器端，如图2所示，该方法包括：
步骤S21、获取至少一个车辆终端发送的第一地图；所述车辆终端通过获取当前车辆的自身状态信息及周边环境信息；根据所述自身状态信息及周边环境信息，构建包含局部语义信息的第一地图；
步骤S22、根据所述第一地图，生成用于定位的第二地图；
步骤S23、根据所述第二地图，生成包含道路拓扑结构及目标推荐轨迹的第三地图。
需要说明的是，本实施例提供的技术方案，适用于自动驾驶、辅助驾驶技术领域，尤其适用于基于众包数据的地图构建场景。
在具体实践中，所述服务器端包括：云端服务器，和/或，本地服务器。
可以理解的是，由于车载传感器获取信息的不确定性、检测的不确定性以及环境物体存在被动态障碍物遮挡的原因，造成第一地图的精度不足以用于高精度定位，所以还需要在服务器端构建第二地图。
在具体实践中，步骤S22中“根据所述第一地图，生成用于定位的第二地图”，包括：
一、对所述第一地图进行分组，包括：
根据第一地图所表征的空间位置信息(这里的空间位置信息表示地图中轨迹点以及各类空间物体在世界坐标系下的坐标。轨迹点在世界坐标系下的坐标由RTK/GPS信息获得；空间物体在世界坐标系下的坐标，由空间物体与轨迹点的相对位姿和轨迹点在世界坐标系下的坐标获得)，将位于同一道路区域同一行进方向的第一地图划分为同一组，得到初始分组结果；
根据第一地图所表征的其他信息，对初始分组结果中的第一地图进行二次分组，得到精细分组结果；所述其他信息至少包括：时间信息、季节信息、天气信息和车辆信息。
二、评估精细分组结果中第一地图的成熟度，并将成熟度低于阈值的第一地图确认为质量不佳的第一地图；所述成熟度至少包括以下项中的一项：空间物体感知的置信度、空间物体的数量、空间物体位置的不确定度；
删除质量不佳的第一地图。
三、根据删除质量不佳的第一地图后剩余的第一地图，生成用于定位的第二地图。
需要说明的是，第二地图的输入为多个第一地图组别。由于第一地图的分组的因素包括位置、时间、季节、车辆类别、车辆行进方向等，而第二地图主要用于车辆的定位，因此只关注空间环境信息。影响空间环境的因素包括位置、时间、季节。因此将同样位置、相同时间段、相同季节的多个第一地图组别进行合并作为第二地图的输入，生成一个第二地图。下面对一个第二地图的生成进行详述，包括：
第一地图的对齐：在已知偏移量及偏移量的不确定度的备选对齐方法中，选取偏移量的不确定度低的对齐方法，将输入的第一地图对齐；
第一地图间的数据关联：对对齐后的第一地图上的空间物体，进行物体级数据关联和特征点级别数据关联，以实现空间物体的精准匹配；
第二地图的初始化：根据第一地图对齐时的偏移量，将输入的多个第一地图定位到随机选取的某一第一地图的坐标系中，并将来自不同第一地图的具有关联关系的空间物体看作物理空间存在物体在不同第一地图中的观测，利用多个第一地图中的观测(这里的观测主要包含空间物体的三维位姿信息)，预估第二地图中空间物体的位姿的初始值；
第二地图的优化：根据对齐后的第一地图中空间物体之间的物体级数据关联关系和特征点级别数据关联关系，建立误差函数，并根据建立的误差函数对预估的第二地图中空间物体的位姿进行优化；
第二地图的调整：对于具有空间上下文特性、位置先验的空间物体，按照该空间物体的特性对第二地图中该空间物体的位姿进行调整；
具有重叠区域的第二地图的调整：计算具有重叠区域的第二地图间的偏移量，并根据所述偏移量，调整车辆在第二地图间切换时的位姿。
对于构建好的第二地图，由于第二地图与第一地图的主要结构相同，因此可以使用评估第一地图成熟度的方法对每个组别生成的第二地图进行成熟度的评估。其中成熟度高的第二地图可以用于导航与定位，未成熟的第二地图还需要额外的第一地图对当前第二地图进行构建。
为了便于理解，现对第二地图生成过程中，比较重要的几个技术点的实现方式，详细介绍如下：
1、基于空间位置信息的分组，包括：
对同一条道路的同一区域进行分组。主要分为两个部分：一，首先跟据RTK/GPS的位置进行划分。具体方法可以为：将某一区域，如某一行政区域，划分为某一尺寸的方格，如200m*200m。当一条行驶轨迹出现在该方格中，且在该方格中该行驶轨迹的位姿移动超过50m，则将该行驶轨迹放入到该方格中。当一条行驶轨迹经过不同的方格时，经过的方格均保留该行驶轨迹的一个备份。将位于同一方格的行驶轨迹所对应的第一地图作为一个候选组别。为保证使用的过程中，定位能够进行有效过渡，相邻两个方格保证有50％的重叠区域。二，按照车的行进方向，进行组别确认，主要用于对位于对向车道的不同轨迹进行区分。具体方法为：按照每一个地图的里程计的方向，将同一候选组别的不同行进方向的第一地图划分为不同的组别(可以理解的是，按照对向车道将候选组别划分为不同的组别，不会存在一条轨迹，同时属于两个行进方向，因此，每条行驶轨迹对应的候选组别是唯一的)。
在分组的过程中，对于一些复杂路况，如路口、立交桥，则需要做一些额外的处理。如调整方格的尺寸；当某一第一地图位于转弯、掉头、汇入另一条道路时，可以适当的对第一地图进行裁剪，以符合分组的要求。
2、基于其他信息的分组，包括：
在上述1的分组基础上，根据第二地图与第三地图使用时的需求，将第一地图进行更细致的分组。如不同天气、不同季节的环境容易发生变化，进而影响视觉定位和以及推荐轨迹的车速，可以将天气、季节作为分组因素。由于不同车型的车辆结构不同，在不同路段行驶的策略也会不同，如高速公路上，小汽车通常位于内侧车道，而大货车通常位于外侧车道，将车辆类别加入分组因素，生成不同的第三地图。在一些城市道路上，不同时间段对车辆进行管制，如早晚高峰时间的公交车道，可以将时间加入分组因素，生成不同的第三地图。在不同的道路会有维护、更新的情况，可以按照时间，对某一时间段进行精细分组，生成不同的第二、第三地图。
3、删除质量不佳的第一地图，包括：
第一地图中空间物体的数量满足大于第一阈值的条件(第一阈值根据历史经验值或者实验数据进行设置)。在同一场景下，可能由于车辆遮挡的问题导致无法检测到该路段应有的标志。进而影响第一地图之间的数据关联，以及后续的优化过程。当某一第一地图中检测到空间物体的数量低于第一阈值时，在组内移除该第一地图。第一阈值由组内所有第一地图检测到的空间物体数量得出，具体如下：
τ1＝max(10，μN-2*σN) (4)
其中，τ1表示第一阈值，μN表示该组第一地图中检测到的空间物体数量的均值，σN表示该组第一地图中检测到的空间物体数量的标准差。
第一地图中具有高感知置信度的空间物体数量满足第二阈值(第二阈值根据历史经验值或者实验数据进行设置)。空间物体感知的置信度由每帧图像对该物体观测的感知置信度的均值、方差组成，感知置信度由感知算法给出。如果某一空间物体的感知置信度的均值低或方差高，表明感知对于该物体的判别不够稳定或不够成熟，也可能由于部分帧在观测过程中由于遮挡导致该物体的判断不清，进而影响该物体的感知置信度。当某一第一地图中满足感知置信度要求的空间物体的数量低于第二阈值时，在组内移除该地图。
第一地图中具有低空间位置不确定度的空间物体数量要满足第三阈值(第三阈值根据历史经验值或者实验数据进行设置)。空间物体位置的不确定度由第一地图建立时对该物体的优化产生。由于一个局部地图对某一空间物体的观测次数、观测角度受到限制，造成每个空间物体的位置均有一定的不确定度。在一个实施例中，空间物体的不确定度可以由前述的物体的自约束误差给出。当某一自约束误差小于某一阈值时表示该物体具有地空间位置不确定度，当某一第一地图中满足不确定度要求的空间物体数量低于第三阈值时，在组内移除该第一地图。
4、第一地图的对齐，包括：
同一路段下的不同第一地图需要进行对齐。对齐方法包括基于轨迹点的方法、基于空间物体的方法。每种方法(例如4.1和4.2给出的两种地图对齐方法)都能给出地图间偏移量及偏移量的不确定度。选取不确定度低的偏移量，将多个第一地图调整至同一个坐标系下，完成对齐。
4.1基于RTK/GPS轨迹点的地图对齐方法
第一地图中每个轨迹点，有对应的RTK/GPS的观测值，以及该观测值的不确定度。根据轨迹点间的相对位置关系，可以估计每个轨迹点的RTK/GPS位姿以及不确定程度。使用每个轨迹点估计出的RTK/GPS位置，计算地图间的偏移量，以及该偏移量的不确定度。
4.2基于RTK/GPS轨迹点与空间物体的地图对齐方法
对任一第一地图，根据轨迹点的RTK/GPS信息，推断出该第一地图的空间物体相对于大地坐标系的位置，估计出其不确定程度，并判断在其不确定范围内同类别是否存在其他的同类物体。
其中一个方法为：估计出的某个物体的位置为(x，y)，不确定程度为10m，类别为路灯。如果在以(x，y)为圆心10m为半径的范围中，存在与该物体类别相同的物体，即路灯，那么则认为该物体在不确定范围内存在其他的同类物体，反之则认为该物体在不确定范围内不存在其他的同类别物体。
对于多个第一地图，选取在不确定范围内不存在其他同类物体的空间物体，根据其空间位置及其不确定范围，进行物体级别数据关联。
根据物体级别数据关联结果，计算平均偏移量，以及其不确定程度(该不确定程度使用方差进行描述)。
在通常情况下，基于RTK轨迹点的方法获得的偏移量不确定程度最低，基于GPS轨迹点和空间物体的偏移量不确定程度次之，基于GPS轨迹点的不确定程度最高。
5、第一地图间的数据关联，包括：
5.1物体级数据关联
根据第一地图中空间物体的位置直接进行数据关联，有以下几个问题：
1)在第一地图中，根据轨迹点的RTK/GPS信息，能够得出第一地图中空间物体相对于绝对坐标系的位置。但由于RTK/GPS、惯性测量单元、图像的像素级等传感器测量误差、三角测量误差，导致第一地图中生成的空间物体位置不精准，不能够直接使用第一地图中空间物体相对于绝对坐标系的位置进行数据关联。
2)在一些场景中，会有重复性高、易混淆的空间物体出现，如树干、灯杆、虚线的间断线等，不能够直接使用相对位置进行数据关联。
针对上述问题，使用如下方法解决：
步骤一、在单个第一地图中，根据的轨迹点的RTK/GPS，推断出该第一地图的每个空间物体的位置信息及其不确定程度，并判断在其不确定范围内是否存在其他的同类物体；
步骤二、对于多个第一地图，选取在不确定范围内类别具有唯一性的空间物体，作为关键空间物体，进行第一次物体级别数据关联；
步骤三、根据第一次数据关联结果，即关键空间物体的关联关系，以及每个地图中空间物体的相对位置关系，对更多的空间物体进行第二次数据关联(一个实现方法为：将每个第一地图中的空间物体根据其相对位置构建成图结构，将第一次数据关联的结果中的关键空间物体作为锚点，当来自于不同第一地图中的物体，满足标签相同，到锚点的相对位姿相近的条件时，确认这些物体的关联关系)；
步骤四、对于特定类型的空间物体进行第三次数据关联。
所述特定类型的空间物体是指线性物体和其他不便于使用上述方法进行数据关联的物体。如对于车道线，可以利用已确定关联关系的物体，确定的次序确定关联关系。具体的方法可以为：根据两个地图中已经确定关联关系的路旁标志牌，计算该标志牌到已检测出的车道线的垂线的方向和长度，确定车道线的次序，从而进行第一地图间的车道线关联关系的确认。
5.2特征点级数据关联
对于来自于不同地图具有关联关系的空间物体，进行特征点级别的数据关联，包括：
1)对于一般的空间物体，如果具有明确属性，如标志牌、地面导向箭头等，根据当前物体的类别，将对应的特征点关联即可。例如，对于矩形标志牌，按照左上，右上，右下，左下的顺序，将对应的特征角点进行关联；
2)对于不明确属性的标志牌(例如，广告牌)，根据特征点的空间位置关系和描述子的相似程度，确定特征点的关联关系。
3)对于地面标线等不便于使用上述方法进行特征点级别关联的物体，可以使用特征点的相对位置进行特征点关联。例如，对于车道线，选择两个地图中已经确定关联关系的路旁标志牌，获得该标志牌到该现状物体的垂足，以垂足的位置为基准，计算线上特征点到该基准的距离，根据该距离进行特征点的数据关联。
6、第二地图的初始化，包括：
首先，根据第一地图间的偏移量，将多个第一地图定位到某个第一地图的坐标系中。然后，将来自于不同第一地图的具有关联关系的物体可以看作为物理空间存在物体在不同地图中的观测。根据这一约束，利用多个第一地图中的观测值，估计第二地图中空间物体的位姿的初始值。
在一个实施例中，由于三维空间位姿具有六自由度，因此使用六维正态分布对第二地图空间物体的位姿及其不确定性进行描述。对于第二地图的一个空间物体L，其位姿P服从六维正态分布。利用该空间物体在不同第一地图中观测的位姿，使用最大后验概率的方法，对该空间物体的位姿P及其不确定性进行估计。
7、第二地图的优化，包括：
根据第一地图间空间物体的物体级、特征点级别的关联关系，建立误差函数，对第二地图初始化时估计出的空间物体的位姿，进行优化。
在一个实施例中，通过计算每个地图中空间物体观测的特征点到估计的空间物体对应的误差，建立误差函数，如下式：
其中，NM表示参与该第二地图构建的第一地图的数量，NL表示该局部区域估计到的空间物体的数量，表示，第二地图中第j个空间物体在第i个第一地图中的观测位姿Pi,j与估计的第j个第二地图的空间物体位姿/>的误差关系，eM(Mi)表示为第i个第一地图Mi的内部约束的误差项。
可以使用点对点的距离表示，在本实施例中，具体的表述形式为：
其中，表示第二地图中空间物体Lj的特征点的数量，/>表示第二地图中第j个空间物体在第i个第一地图中观测的第k个特征点的三维空间位置，/>表示估计的第二地图中第j个空间物体的第k个特征点的三维空间位置。
第一地图M的内部约束的函数eM(M)可由下式表示：
其中，f(Pi)表示该第一地图M的第i个空间物体Pi的误差函数，具体内容参见公式(3)。
8、第二地图的调整，包括：
对于一些具有空间上下文特性、位置先验的空间物体，按照其特性对空间物体的位姿进行调整。
在一个实施例中，由于人行横道线、停止线的长度与对应道路、车道的宽度相同，因此，对人行横道线、停止线按照其方向，进行拉伸、扩充。在车道新增和合并处、虚实线转换处，根据车道线的相交点，沿着车道线方向调整起始点。对于路面上的导航标志，使用附近道路的标线估计出当前位置的所在的平面，将导航标志投影到该平面上进行位置的调整等。
9、具有重叠区域的第二地图的调整，包括：
在获得与每个第一地图物理空间对应的第二地图后，根据第一地图的分组规则，相邻第一地图组别存在着物理空间的交际，使得相邻区域的第二地图存在重叠区域。由于相邻的第二地图的产生是独立的，因此在相邻第二地图在重叠区域可能存在偏差，在第二地图使用的过程中，尤其在相邻第二地图切换过程中无法直接使用，需要对重叠区域进行额外处理。
步骤一、根据第二地图中多条轨迹的轨迹点，获得每个地图描述的边界。
步骤二、根据每个第二地图的边界区域，获取与其存在重叠区域的其他第二地图(在一些场景下，同一条轨迹可能位于相邻的两个第二地图，根据轨迹的连续性也可以进行存在重叠区域的其他地图的查找)；
步骤三、计算存在重叠区域的第二地图间的数据关联(由于经过多个第一地图生成第二地图，重叠区域内的空间物体在不同第二地图中的位置关系相近，因此可以通过同一空间物体在不同地图中的位置或同一地图中不同空间物体的相对位置关系进行数据关联)；
步骤四、根据数据关联计算相对位姿，作为转换的偏移量，包括：
根据数据关联，估计一个三维欧式变换(SE3)，作为两个地图间的偏移量。当车辆从第二地图A向第二地图B切换时，根据当前车辆与地图A的观测关系，与，地图A与地图B中空间物体的关联关系，获得当前车辆与地图B的观测关系，再根据地图A与地图B间的偏移量，将当前车辆在地图A中的位姿转化为在地图B中的位姿。
在具体实践中，步骤S23中“根据所述第二地图，生成包含道路拓扑结构及目标推荐轨迹的第三地图”，包括：
一、根据第二地图中的行驶轨迹和车道拓扑结构，生成第三地图的车道拓扑结构，包括：
道路、车道、车道线，道路的连接关系(对应道路先后的连接顺序)、道路与车道包含关系、车道与车道之间的连接关系(包括前后车道的连接关系、相邻车道的连接关系，其中，相邻车道的连接关系通过车道线的拓扑关系获取)，车道与车道线的对应关系，车道线的拓扑关系等。
在本实施例中，车道级道路模型(即第三地图的车道拓扑结构)具有以下假设：车道线与车道只属于唯一一条道路，在同一条道路上不同车道线的属性不发生变化。
生成车道级道路模型的步骤如下：
步骤一、在第二地图上选择一条轨迹作为参考轨迹(由于第二地图中包含行驶轨迹与车道线，行驶轨迹由一系列按照时间顺序的位姿点组成的，每个位姿点的前进方向与车道线的夹角尽可能小；在同一地图上可能存在多条符合条件的行驶轨迹，任选其中一条)；
步骤二、初始化道路起始点(将行驶轨迹的起始点作为道路起始点，向车道线做垂线，获得多个垂足；根据垂足的数量、相对位姿点的方向、距离以及对应车道线的属性，进而获得每条车道线的顺序、车道宽度，这些信息作为道路起始点周围的道路情况)；
步骤三、检查当前轨迹点与上一时刻轨迹点周围的道路情况是否发生变化，若是，设置道路终止点，针对起始点到终止点的车道线，进行道路结构的生成，包括：
根据当前位姿点的位置，向车道线作垂线，获得多个垂足，作为车道线采样点；获得垂足的数量、相对于位姿点的方向、距离以及对应车道线的属性，进而获得每条车道线的顺序、车道宽度等信息；
当前位姿点与上一位姿点获取的车道信息，如车道线数量、车道线属性发生变化，车道宽度发生明显变化时，将上一个位姿点设置为道路终止点；根据起始点与终止点获取的道路信息，提取对应车道线线段，依照车道线对应的次序，依次生成车道；根据车道线的属性，生成与该车道线相邻车道间的拓扑关系，获得该起始点与终止点对应的道路结构；根据上一段道路，获得道路、车道、车道线的拓扑关系，转至步骤二。
二、对第二地图中来源于相同组别的第一地图的行驶轨迹进行融合或聚类，生成第三地图的目标推荐轨迹，包括：
在一般情况下，使用道路中心线作为车辆的推荐轨迹用于自动驾驶对车辆进行控制。利用多条轨迹生成的融合轨迹作为推荐轨迹，可以使得车辆获得更适合当前环境的控制轨迹，也可以获取如无保护左转、无车道线区域的控制轨迹。
本实施例中，推荐轨迹包括：一类推荐轨迹，用于车辆保持车道时的优选轨迹；二类推荐轨迹，用于车辆在道路中执行变道操作时的优选轨迹。
对第二地图中，来源于同一第一地图组别的轨迹，进行如下处理：
步骤一、按照道路拓扑结构对轨迹进行拆分，将轨迹分为一类轨迹、二类轨迹，一类轨迹为轨迹点位于同一条车道的轨迹，二类轨迹为同一道路中，跨越不同车道的轨迹；
步骤二、将每一条车道内的一类轨迹进行融合，生成对应车道的一类推荐轨迹(首先将车道中心线按照车道方向，以一定距离为间隔，采样生成形点。对于每一个形点，沿着该点在中心线的法线方向做垂线，获得该垂线与各条轨迹的交点作为每条轨迹的采样点，依照采样点进行轨迹曲线拟合，生成一条一类推荐轨迹)；
步骤三、对同一道路内的二类轨迹按照跨越车道的位置进行聚类(首先根据跨越车道线的不同，对二类轨迹进行粗分类，再将跨越同一条车道线的二类轨迹按照跨越位置用密度聚类的方法进行细分类)；
步骤四、对于同一道路内二类轨迹的聚类结果，生成不同的二类推荐轨迹(使用与该类二类轨迹相交的车道线作为参考车道线，将该车道线沿着车道方向以一定距离为间隔，采样生成形点；对于每一个形点，沿着该点在车道线的法线方向做垂线，获得该垂线与各条轨迹的交点作为每条轨迹的采样点，依照采样点进行轨迹曲线拟合，生成一条二类推荐轨迹)。
可以理解的是，本实施例提供的技术方案，通过在车辆终端建立包含局部语义信息的第一地图，在服务器端建立用于定位的第二地图及包含道路拓扑结构及目标推荐轨迹的第三地图，解决了现有技术中直接用原始图像构建第二地图带来的计算量大、制作困难的问题。
另外，由于用于定位的第二地图是基于第一地图构建的，而第一地图包含了车辆周边环境的局部语义信息，因此相比现有技术中直接使用原始图像构建出的第二地图，传输数据量低，便于数据获取及建立、制作高精度地图。
再者，本实施例提供的技术方案，能够根据第二地图，生成包含道路拓扑结构及目标推荐轨迹的第三地图，对生成第二地图的车辆轨迹信息进行了利用，相比现有技术，算法功能集成度更高，更能满足用户个性化的路径规划及导航需求，用户体验度更好、满意度更高。
实施例三
根据一示例性实施例示出的一种车辆终端，用于执行实施例一所述的地图构建方法。
需要说明的是，本实施例提供的技术方案，适用于自动驾驶、辅助驾驶技术领域，尤其适用于基于众包数据的地图构建场景。
在具体实践中，所述车辆终端以程序代码的形式存在(包括但不限于程序功能模块形式存在，或者，APP形式存在)，直接加载在当前车辆的中控系统中；或者，所述车辆终端以程序代码的形式存在，存储在与车辆的中控系统相连的存储设备中，中控系统通过对程序的调用，实现相应的地图构建功能；或者，所述车辆终端以车载电子设备的形式存在(例如，电子地图构建器)，该车载电子设备中加载有所述地图构建方法。
可以理解的是，本实施例提供的技术方案，通过在车辆终端建立包含局部语义信息的第一地图，在服务器端建立用于定位的第二地图及包含道路拓扑结构及目标推荐轨迹的第三地图，解决了现有技术中直接用原始图像构建第二地图带来的计算量大、制作困难的问题。
另外，由于用于定位的第二地图是基于第一地图构建的，而第一地图包含了车辆周边环境的局部语义信息，因此相比现有技术中直接使用原始图像构建出的第二地图，传输数据量低，便于数据获取及建立、制作高精度地图。
再者，本实施例提供的技术方案，能够根据第二地图，生成包含道路拓扑结构及目标推荐轨迹的第三地图，对生成第二地图的车辆轨迹信息进行了利用，相比现有技术，算法功能集成度更高，更能满足用户个性化的路径规划及导航需求，用户体验度更好、满意度更高。
实施例四
根据一示例性实施例示出的一种服务器端，用于执行实施例二所述的地图构建方法。
需要说明的是，本实施例提供的技术方案，适用于自动驾驶、辅助驾驶技术领域，尤其适用于基于众包数据的地图构建场景。
在具体实践中，所述服务器端包括：云端服务器，和/或，本地服务器。
可以理解的是，本实施例提供的技术方案，通过在车辆终端建立包含局部语义信息的第一地图，在服务器端建立用于定位的第二地图及包含道路拓扑结构及目标推荐轨迹的第三地图，解决了现有技术中直接用原始图像构建第二地图带来的计算量大、制作困难的问题。
另外，由于用于定位的第二地图是基于第一地图构建的，而第一地图包含了车辆周边环境的局部语义信息，因此相比现有技术中直接使用原始图像构建出的第二地图，传输数据量低，便于数据获取及建立、制作高精度地图。
再者，本实施例提供的技术方案，能够根据第二地图，生成包含道路拓扑结构及目标推荐轨迹的第三地图，对生成第二地图的车辆轨迹信息进行了利用，相比现有技术，算法功能集成度更高，更能满足用户个性化的路径规划及导航需求，用户体验度更好、满意度更高。
实施例五
图3是根据一示例性实施例示出的一种地图构建系统100的示意框图，如图3所示，该系统100包括：
至少一个实施例三所述的车辆终端101，和/或，实施例四所述的服务器端102。
可以理解的是，本实施例提供的技术方案，通过在车辆终端建立包含局部语义信息的第一地图，在服务器端建立用于定位的第二地图及包含道路拓扑结构及目标推荐轨迹的第三地图，解决了现有技术中直接用原始图像构建第二地图带来的计算量大、制作困难的问题。
另外，由于用于定位的第二地图是基于第一地图构建的，而第一地图包含了车辆周边环境的局部语义信息，因此相比现有技术中直接使用原始图像构建出的第二地图，传输数据量低，便于数据获取及建立、制作高精度地图。
再者，本实施例提供的技术方案，能够根据第二地图，生成包含道路拓扑结构及目标推荐轨迹的第三地图，对生成第二地图的车辆轨迹信息进行了利用，相比现有技术，算法功能集成度更高，更能满足用户个性化的路径规划及导航需求，用户体验度更好、满意度更高。
实施例六
根据一示例性实施例示出的一种计算机可读存储介质，其上存储有可擦写的计算机程序；
当所述计算机程序在计算机设备上运行时，使得所述计算机设备执行如实施例一所述的地图构建方法，和/或，实施例二所述的地图构建方法。
本实施例公开的计算机可读存储介质包括但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可以理解的是，本实施例提供的技术方案，通过在车辆终端建立包含局部语义信息的第一地图，在服务器端建立用于定位的第二地图及包含道路拓扑结构及目标推荐轨迹的第三地图，解决了现有技术中直接用原始图像构建第二地图带来的计算量大、制作困难的问题。
另外，由于用于定位的第二地图是基于第一地图构建的，而第一地图包含了车辆周边环境的局部语义信息，因此相比现有技术中直接使用原始图像构建出的第二地图，传输数据量低，便于数据获取及建立、制作高精度地图。
再者，本实施例提供的技术方案，能够根据第二地图，生成包含道路拓扑结构及目标推荐轨迹的第三地图，对生成第二地图的车辆轨迹信息进行了利用，相比现有技术，算法功能集成度更高，更能满足用户个性化的路径规划及导航需求，用户体验度更好、满意度更高。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (13)

1.一种地图构建方法，应用于车辆终端，其特征在于，包括：
获取当前车辆的自身状态信息及周边环境信息；
根据所述自身状态信息及周边环境信息，构建包含局部语义信息的第一地图，并将所述第一地图发送给服务器端，以使服务器端根据所述第一地图，生成用于定位的第二地图，并根据所述第二地图，生成包含道路拓扑结构及目标推荐轨迹的第三地图；其中，所述根据所述第一地图，生成用于定位的第二地图，包括：对所述第一地图进行分组；根据分组后的第一地图，生成用于定位的第二地图；所述分组后的第一地图，至少包括：同一位置、同一时间段、同一季节、不同车辆类型的多个第一地图组别；其中，所述根据分组后的第一地图，生成用于定位的第二地图，包括：第一地图的对齐：在已知偏移量及偏移量的不确定度的备选对齐方法中，选取偏移量的不确定度低的对齐方法，将第一地图对齐；第一地图间的数据关联：对对齐后的第一地图上的空间物体，进行物体级数据关联和特征点级别数据关联，以实现空间物体的精准匹配；第二地图的初始化：根据第一地图对齐时的偏移量，将多个第一地图定位到随机选取的某一第一地图的坐标系中，并将来自不同第一地图的具有关联关系的空间物体看作物理空间存在物体在不同第一地图中的观测，利用多个第一地图中的观测，预估第二地图中空间物体的位姿的初始值；第二地图的优化：根据对齐后的第一地图中空间物体之间的物体级数据关联关系和特征点级别数据关联关系，建立误差函数，并根据建立的误差函数对预估的第二地图中空间物体的位姿进行优化；第二地图的调整：对于具有空间上下文特性、位置先验的空间物体，按照该空间物体的特性对第二地图中该空间物体的位姿进行调整；具有重叠区域的第二地图的调整：计算具有重叠区域的第二地图间的偏移量，并根据所述偏移量，调整车辆在第二地图间切换时的位姿。
2.根据权利要求1所述的方法，其特征在于，所述构建包含局部语义信息的第一地图，包括：
根据当前车辆的自身状态信息，构建车辆里程计；
对所述周边环境信息进行语义信息检测，以检测出当前车辆周边环境中带有特定语义信息的空间物体，并对所述空间物体的位姿进行估计；
将所述车辆里程计、修正后的空间物体的位姿，与建图时的时间信息、天气信息、车辆信息进行结合，生成第一地图；所述第一地图至少包括：当前车辆的行驶轨迹及周边环境中带有特定语义信息的空间物体。
3.根据权利要求2所述的方法，其特征在于，
所述周边环境信息，通过相机采集的原始图像获取；
则，所述对所述周边环境信息进行语义信息检测，包括：
使用深度学习的检测方法，输出空间物体在原始图像中的包围框、类别；
对包围框中的图像，按照所属类别的不同提取特征点、描述子；
其中，所述包围框、类别用于图像间空间物体的快速匹配；
所述特征点和描述子用于图像间空间物体的精细匹配。
4.根据权利要求3所述的方法，其特征在于，所述对所述空间物体的位姿进行修正，包括：
对时间轴上前后两帧原始图像，根据语义信息检测结果进行空间物体的数据关联，以完成前后两帧原始图像中空间物体的精准匹配；
对完成数据关联的空间物体，进行对应特征点的三角化；
对完成特征点三角化的空间物体，根据空间物体的先验约束条件，修正空间物体在第一地图中的位姿。
5.根据权利要求1~4任一项所述的方法，其特征在于，
连续时刻构建的第一地图，存在预设特征范围的重叠区域。
6.一种地图构建方法，应用于服务器端，其特征在于，包括：
获取至少一个车辆终端发送的第一地图；所述车辆终端通过获取当前车辆的自身状态信息及周边环境信息；根据所述自身状态信息及周边环境信息，构建包含局部语义信息的第一地图；
根据所述第一地图，生成用于定位的第二地图，包括：对所述第一地图进行分组；根据分组后的第一地图，生成用于定位的第二地图；所述分组后的第一地图，至少包括：同一位置、同一时间段、同一季节、不同车辆类型的多个第一地图组别；其中，所述根据分组后的第一地图，生成用于定位的第二地图，包括：第一地图的对齐：在已知偏移量及偏移量的不确定度的备选对齐方法中，选取偏移量的不确定度低的对齐方法，将第一地图对齐；第一地图间的数据关联：对对齐后的第一地图上的空间物体，进行物体级数据关联和特征点级别数据关联，以实现空间物体的精准匹配；第二地图的初始化：根据第一地图对齐时的偏移量，将多个第一地图定位到随机选取的某一第一地图的坐标系中，并将来自不同第一地图的具有关联关系的空间物体看作物理空间存在物体在不同第一地图中的观测，利用多个第一地图中的观测，预估第二地图中空间物体的位姿的初始值；第二地图的优化：根据对齐后的第一地图中空间物体之间的物体级数据关联关系和特征点级别数据关联关系，建立误差函数，并根据建立的误差函数对预估的第二地图中空间物体的位姿进行优化；第二地图的调整：对于具有空间上下文特性、位置先验的空间物体，按照该空间物体的特性对第二地图中该空间物体的位姿进行调整；具有重叠区域的第二地图的调整：计算具有重叠区域的第二地图间的偏移量，并根据所述偏移量，调整车辆在第二地图间切换时的位姿；
根据所述第二地图，生成包含道路拓扑结构及目标推荐轨迹的第三地图。
7.根据权利要求6所述的方法，其特征在于，所述对第一地图进行分组，包括：
根据第一地图所表征的空间位置信息，将位于同一道路区域同一行进方向的第一地图划分为同一组，得到初始分组结果；
根据第一地图所表征的其他信息，对初始分组结果中的第一地图进行二次分组，得到精细分组结果；所述其他信息至少包括：时间信息、季节信息、天气信息和车辆信息。
8.根据权利要求7所述的方法，其特征在于，还包括：
评估精细分组结果中第一地图的成熟度，并将成熟度低于阈值的第一地图确认为质量不佳的第一地图；所述成熟度至少包括以下项中的一项：空间物体感知的置信度、空间物体的数量、空间物体位置的不确定度；
删除质量不佳的第一地图；
则，所述根据所述第一地图，生成用于定位的第二地图，具体为：
根据删除质量不佳的第一地图后剩余的第一地图，生成用于定位的第二地图。
9.根据权利要求6所述的方法，其特征在于，所述根据所述第二地图，生成包含道路拓扑结构及目标推荐轨迹的第三地图，包括：
根据第二地图中的行驶轨迹和车道拓扑结构，生成第三地图的车道拓扑结构；
对第二地图中来源于相同组别的第一地图的行驶轨迹进行融合或聚类，生成第三地图的目标推荐轨迹。
10.一种车辆终端，其特征在于，用于执行权利要求1~5任一项所述的地图构建方法。
11.一种服务器端，其特征在于，用于执行权利要求6~9任一项所述的地图构建方法。
12.一种地图构建系统，其特征在于，包括：
至少一个权利要求10所述的车辆终端，和/或，权利要求11所述的服务器端。
13.一种计算机可读存储介质，其特征在于，其上存储有可擦写的计算机程序；
当所述计算机程序在计算机设备上运行时，使得所述计算机设备执行如权利要求1~5任一项所述的地图构建方法，和/或，权利要求6~9任一项所述的地图构建方法。
CN202210142798.8A 2022-02-16 2022-02-16 地图构建方法、系统、车辆终端、服务器端及存储介质 Active CN114509065B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210142798.8A CN114509065B (zh) 2022-02-16 2022-02-16 地图构建方法、系统、车辆终端、服务器端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210142798.8A CN114509065B (zh) 2022-02-16 2022-02-16 地图构建方法、系统、车辆终端、服务器端及存储介质

Publications (2)

Publication Number Publication Date
CN114509065A CN114509065A (zh) 2022-05-17
CN114509065B true CN114509065B (zh) 2023-11-07

Family

ID=81552382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210142798.8A Active CN114509065B (zh) 2022-02-16 2022-02-16 地图构建方法、系统、车辆终端、服务器端及存储介质

Country Status (1)

Country Link
CN (1) CN114509065B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116821266B (zh) * 2022-12-30 2024-03-29 北京易航远智科技有限公司 语义地图构建方法及具有熟路模式的自动驾驶系统
CN116394980B (zh) * 2023-06-07 2023-10-03 北京集度科技有限公司 车辆控制方法和自动驾驶提示方法及相关装置
CN117808324B (zh) * 2024-02-27 2024-06-04 西安麦莎科技有限公司 一种无人机视觉协同的建筑进度评估方法
CN117870715B (zh) * 2024-03-13 2024-05-31 上海鉴智其迹科技有限公司 地图切换方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760811A (zh) * 2016-01-05 2016-07-13 福州华鹰重工机械有限公司 全局地图闭环匹配方法及装置
CN106802954A (zh) * 2017-01-18 2017-06-06 中国科学院合肥物质科学研究院 无人车语义地图模型构建方法及其在无人车上的应用方法
CN108981726A (zh) * 2018-06-09 2018-12-11 安徽宇锋智能科技有限公司 基于感知定位监测的无人车语义地图建模及构建应用方法
CN112414417A (zh) * 2020-11-17 2021-02-26 智邮开源通信研究院(北京)有限公司 自动驾驶地图生成方法、装置、电子设备及可读存储介质
CN113554698A (zh) * 2020-04-23 2021-10-26 杭州海康威视数字技术股份有限公司 车辆位姿信息生成方法、装置及电子设备、存储介质
KR20210150805A (ko) * 2020-06-04 2021-12-13 네이버랩스 주식회사 고정밀지도생성장치 및 고정밀지도생성방법
CN114005280A (zh) * 2021-11-17 2022-02-01 同济大学 一种基于不确定性估计的车辆轨迹预测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10217232B2 (en) * 2017-02-08 2019-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for locally aligning map data

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760811A (zh) * 2016-01-05 2016-07-13 福州华鹰重工机械有限公司 全局地图闭环匹配方法及装置
CN106802954A (zh) * 2017-01-18 2017-06-06 中国科学院合肥物质科学研究院 无人车语义地图模型构建方法及其在无人车上的应用方法
CN108981726A (zh) * 2018-06-09 2018-12-11 安徽宇锋智能科技有限公司 基于感知定位监测的无人车语义地图建模及构建应用方法
CN113554698A (zh) * 2020-04-23 2021-10-26 杭州海康威视数字技术股份有限公司 车辆位姿信息生成方法、装置及电子设备、存储介质
KR20210150805A (ko) * 2020-06-04 2021-12-13 네이버랩스 주식회사 고정밀지도생성장치 및 고정밀지도생성방법
CN112414417A (zh) * 2020-11-17 2021-02-26 智邮开源通信研究院(北京)有限公司 自动驾驶地图生成方法、装置、电子设备及可读存储介质
CN114005280A (zh) * 2021-11-17 2022-02-01 同济大学 一种基于不确定性估计的车辆轨迹预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于三维激光雷达的道路边界提取和障碍物检测算法;王灿;孔斌;杨静;王智灵;祝辉;;模式识别与人工智能(第04期);全文 *
基于地面特征点匹配的无人驾驶车全局定位;方辉;杨明;杨汝清;;机器人(第01期);全文 *

Also Published As

Publication number Publication date
CN114509065A (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
US10628671B2 (en) Road modeling from overhead imagery
US20240255291A1 (en) Sparse map for autonomous vehicle navigation
CN114509065B (zh) 地图构建方法、系统、车辆终端、服务器端及存储介质
US11035678B2 (en) Automatic localization geometry detection
US10699135B2 (en) Automatic localization geometry generator for stripe-shaped objects
AU2017300097B2 (en) Crowdsourcing and distributing a sparse map, and lane measurements for autonomous vehicle navigation
CN107144285B (zh) 位姿信息确定方法、装置和可移动设备
US20190147320A1 (en) "Matching Adversarial Networks"
CN111928862A (zh) 利用激光雷达和视觉传感器融合在线构建语义地图的方法
CN102208036B (zh) 车辆位置检测系统
CN109556617A (zh) 一种自动建图机器人的地图要素提取方法
WO2018113451A1 (zh) 一种地图数据系统、其生成和使用方法及应用
CN113034566B (zh) 高精度地图构建方法、装置、电子设备及存储介质
CN113358125B (zh) 一种基于环境目标检测和环境目标地图的导航方法及系统
CN108428254A (zh) 三维地图的构建方法及装置
CN117355871A (zh) 多帧图像分割
KR102384429B1 (ko) 도로지도 구축을 위한 도로 혼잡 위치 판별 및 재조사 경로 생성 방법
CN112651991A (zh) 视觉定位方法、装置及计算机系统
Elfring et al. Vehicle localization using a traffic sign map
CN113227713A (zh) 生成用于定位的环境模型的方法和系统
CN114120631A (zh) 构建动态高精度地图的方法、装置及交通云控平台
CN113390422B (zh) 汽车的定位方法、装置及计算机存储介质
Huang et al. Autonomous Vehicles Localisation Based on Semantic Map Matching Method
CN118015132A (zh) 一种车辆行驶数据的处理方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant