CN116228925A - 地图生成方法、装置及计算机设备 - Google Patents
地图生成方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN116228925A CN116228925A CN202310492788.1A CN202310492788A CN116228925A CN 116228925 A CN116228925 A CN 116228925A CN 202310492788 A CN202310492788 A CN 202310492788A CN 116228925 A CN116228925 A CN 116228925A
- Authority
- CN
- China
- Prior art keywords
- map
- local
- information
- maps
- parking space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 230000009466 transformation Effects 0.000 claims description 139
- 238000012545 processing Methods 0.000 claims description 13
- 238000013519 translation Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 7
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 description 6
- 101150064138 MAP1 gene Proteins 0.000 description 6
- 238000010276 construction Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/206—Drawing of charts or graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Remote Sensing (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Instructional Devices (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种地图生成方法、装置及计算机设备,其中,该方法包括:获取针对目标场景构建的多个局部地图的地图信息,地图信息包括地图元素上关键点的点云信息;针对多个局部地图中每两个局部地图,将两个局部地图中匹配同一对象的地图元素进行关联,得到两个局部地图之间的关联信息;基于多个局部地图中每两个局部地图之间的关联信息、和设置的约束因子,对多个局部地图进行对齐操作,生成对齐后的多个局部地图,其中约束因子包括:指示同一局部地图中不同地图元素之间相对位置关系的第一约束因子、指示同一地图元素在不同局部地图中位置关系的第二约束因子;将对齐后的多个局部地图进行融合,生成目标场景的目标地图。
Description
技术领域
本公开涉及智能驾驶技术领域,具体而言,涉及一种地图生成方法、装置及计算机设备。
背景技术
随着科技的发展,自动驾驶车辆已成为车辆行业的发展趋势。在实际应用中,自动驾驶车辆存在泊车情况,而自动驾驶车辆泊车的准确程度与构建的泊车地图息息相关。由于制作成本和制作周期的受限,使得低成本、轻量化、高质量的地图构建方案,越来越受到关注。因此提出一种符合上述要求的地图构建方案尤为重要。
发明内容
本公开实施例至少提供一种地图生成方法、装置及计算机设备。
第一方面,本公开实施例提供了一种地图生成方法,包括:
获取针对目标场景构建的多个局部地图的地图信息,所述地图信息包括地图元素上关键点的点云信息;
针对所述多个局部地图中每两个局部地图,将所述两个局部地图中匹配同一对象的地图元素进行关联,得到所述两个局部地图之间的关联信息;
基于所述多个局部地图中每两个局部地图之间的所述关联信息、和设置的约束因子,对所述多个局部地图进行对齐操作,生成对齐后的多个局部地图,其中所述约束因子包括:指示同一局部地图中不同地图元素之间相对位置关系的第一约束因子、指示同一地图元素在不同局部地图中位置关系的第二约束因子;
将所述对齐后的多个局部地图进行融合,生成所述目标场景的目标地图。
一种可选的实施方式中,所述针对所述多个局部地图中每两个局部地图,将所述两个局部地图中匹配同一对象的地图元素进行关联,得到所述两个局部地图之间的关联信息,包括:
针对所述多个局部地图中每两个局部地图,确定所述两个局部地图中第一局部地图与第二局部地图之间的变换信息,所述变换信息包括位置变换信息和旋转变换信息;并利用所述变换信息,对所述第一局部地图进行调整,生成调整后第一局部地图;
针对所述第二局部地图包含的每个第一地图元素,基于预设匹配指标,从所述调整后第一局部地图中确定与所述第一地图元素匹配的第二地图元素;
基于各个所述第一地图元素分别匹配的第二地图元素,生成所述两个局部地图之间的关联信息。
一种可选的实施方式中,所述确定所述两个局部地图中第一局部地图与第二局部地图之间的变换信息,包括:
对所述第一局部地图包含的地图元素上关键点的点云信息进行插值处理,生成处理后第一局部地图;以及对所述第二局部地图包含的地图元素上关键点的点云信息进行插值处理,生成处理后第二局部地图;
基于关键点的点云信息指示的语义信息和位置信息,将所述处理后第一局部地图与所述处理后第二局部地图进行配准,生成第一局部地图与第二局部地图之间的变换信息。
一种可选的实施方式中,所述针对所述第二局部地图包含的每个第一地图元素,基于预设匹配指标,从所述调整后第一局部地图中确定与所述第一地图元素匹配的第二地图元素,包括:
针对所述第二局部地图包含的每个第一地图元素,以所述第一地图元素所处位置为中心,确定目标区域范围;
从所述调整后第一局部地图中,确定位于所述目标区域范围内的候选地图元素;
基于所述预设匹配指标,从所述候选地图元素中确定与所述第一地图元素匹配的第二地图元素。
一种可选的实施方式中,所述地图元素包括车位元素;在所述将所述对齐后的多个局部地图进行融合,生成所述目标场景的目标地图之后,还包括:
基于设置的相邻车位元素之间的距离偏差阈值和方向偏差阈值,将所述目标地图中包含的各个车位元素划分为多个车位组;
针对每个车位组,基于所述车位组内包含的各个车位元素的入口关键点的点云信息,生成所述车位组对应的车位入口线的表达式信息;
基于各个车位组分别对应的所述车位入口线的表达式信息,将所述目标地图中,每个所述车位组内多个车位元素的入口关键点的点云信息进行调整,生成调整后目标地图,其中所述调整后目标地图内属于同一车位组的各个车位元素的入口关键点位于同一车位入口线上。
一种可选的实施方式中,所述多个局部地图为在不同移动轨迹下构建的,所述移动轨迹包括多个轨迹点;所述基于所述多个局部地图中每两个局部地图之间的所述关联信息、和设置的约束因子,对所述多个局部地图进行对齐操作,生成对齐后的多个局部地图,包括:
针对每个所述局部地图,将所述局部地图中每个地图元素、与匹配的轨迹点关联;
对所述多个局部地图分别对应的移动轨迹中轨迹点进行对齐操作,生成不同移动轨迹之间的轨迹变换信息;
基于不同移动轨迹之间的轨迹变换信息、所述多个局部地图中每两个局部地图之间的所述关联信息、和设置的约束因子,对所述多个局部地图中与轨迹点关联的地图元素进行对齐操作,生成对齐后的多个局部地图。
一种可选的实施方式中,所述多个局部地图为在不同移动轨迹下构建的,所述移动轨迹包括多个轨迹点,所述地图元素包括车位元素;根据下述步骤确定所述第一约束因子:
针对每个所述局部地图,基于所述局部地图中每个车位元素上关键点的点云信息,生成所述车位元素对应的刚体变换信息,所述刚体变换信息包括刚体平移信息和刚体旋转信息;
基于所述局部地图内相邻车位元素中第一车位元素的刚体变换信息、和所述相邻车位元素中第二车位元素的刚体变换信息,确定所述局部地图中所述相邻车位元素的第一约束因子。
一种可选的实施方式中,所述基于所述局部地图内相邻车位元素中第一车位元素的刚体变换信息、和所述相邻车位元素中第二车位元素的刚体变换信息,确定所述局部地图中所述相邻车位元素的第一约束因子,包括:
基于所述第一车位元素的刚体变换信息、和所述第一车位元素匹配的第一轨迹点的位姿信息,确定所述第一车位元素相对于所述第一轨迹点的第一变换信息;
基于所述第一车位元素的刚体变换信息和所述第二车位元素的刚体变换信息,确定所述第二车位元素相对于所述第一车位元素之间的第二变换信息;
基于所述第二车位元素的刚体变换信息、和所述第二车位元素匹配的第二轨迹点的位姿信息,确定所述第二轨迹点相对于所述第二车位元素的第三变换信息;
基于所述第一变换信息、所述第二变换信息和所述第三变换信息,确定所述局部地图中所述相邻车位元素的第一约束因子。
一种可选的实施方式中,所述地图元素包括车位元素,所述车位元素包括位于车位入口线上的入口关键点、和不位于车位入口线的非入口关键点;根据下述步骤确定所述第二约束因子:
针对两个局部地图中关联的同一车位元素,基于所述车位元素上入口关键点分别在所述两个局部地图的点云信息,确定所述入口关键点对应的第二约束因子;
基于所述车位元素上非入口关键点在第一局部地图的点云信息、以及第二局部地图上所述非入口关键点所在的侧面边线的表达式信息,确定所述非入口关键点对应的第二约束因子,其中所述两个局部地图包含第一局部地图和第二局部地图。
一种可选的实施方式中,还包括:基于所述目标地图,控制车辆移动至所述目标场景的目标车位内。
第二方面,本公开实施例还提供一种地图生成装置,包括:
获取模块,用于获取针对目标场景构建的多个局部地图的地图信息,所述地图信息包括地图元素上关键点的点云信息;
关联模块,用于针对所述多个局部地图中每两个局部地图,将所述两个局部地图中匹配同一对象的地图元素进行关联,得到所述两个局部地图之间的关联信息;
对齐模块,用于基于所述多个局部地图中每两个局部地图之间的所述关联信息、和设置的约束因子,对所述多个局部地图进行对齐操作,生成对齐后的多个局部地图,其中所述约束因子包括:指示同一局部地图中不同地图元素之间相对位置关系的第一约束因子、指示同一地图元素在不同局部地图中位置关系的第二约束因子;
融合模块,用于将所述对齐后的多个局部地图进行融合,生成所述目标场景的目标地图。
第三方面,本公开提供一种计算机设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的地图生成方法的步骤。
关于上述地图生成装置、计算机设备的效果描述参见上述地图生成方法的说明,这里不再赘述。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开的技术方案。
本公开提供了一种地图生成方法、装置及计算机设备,通过设置约束因子,且设置的约束因子包括:指示同一局部地图中不同地图元素之间相对位置关系的第一约束因子、指示同一地图元素在不同局部地图中位置关系的第二约束因子;本公开通过设置的第二约束因子可以使得对齐后的多个局部地图之间地图元素的偏差满足要求,比如可以使得同一车位在不同局部地图中的位置偏差较小,以及通过设置的第一约束因子可以使得每个局部地图中不同地图元素的相对位置满足要求,比如可以使得同一局部地图中不同车位之间相对位置不变,以避免不同车位的重叠;进而通过设置的约束因子的约束,基于每两个局部地图之间的关联信息,可以使得多个局部地图的对齐精度较高,进而在将对齐后的多个局部地图进行融合时,可以使得生成的目标场景的目标地图的精度较高、质量较好。
同时,由于本公开中局部地图的地图信息包含地图元素上关键点的点云信息,且将多个局部地图进行融合以生成目标地图的过程,不依赖目标场景的场景图像,故无需对场景图像进行保存,且得到局部地图的过程对场景图像的精度无要求,可见局部地图的构建较简便,使得目标地图的生成过程满足轻量化、低成本的要求,同时融合后得到目标地图的过程满足了高质量要求。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开一些实施例所提供的一种地图生成方法的流程示意图;
图2示出了本公开一些实施例所提供的地图生成方法中,地图元素以及地图元素包含的关键点的示意图;
图3示出了本公开一些实施例所提供的地图生成方法中,关联的轨迹点和地图元素的示意图;
图4a示出了本公开一些实施例所提供的地图生成方法中,多个车位元素的示意图;
图4b示出了本公开一些实施例所提供的地图生成方法中,多个车位元素的示意图;
图5示出了本公开一些实施例所提供的地图生成方法中,轨迹点与车位之间相对位置关系的示意图;
图6示出了本公开一些实施例所提供的地图生成方法中,车位元素上车位入口线、入口关键点、非入口关键点的示意图;
图7示出了本公开一些实施例所提供的地图生成方法中,对齐前的车位元素和对齐后的车位元素的示意图;
图8示出了本公开一些实施例所提供的地图生成方法中,调整前的目标地图和调整后目标地图的示意图;
图9示出了本公开一些实施例所提供的一种地图生成装置的架构示意图;
图10示出了本公开一些实施例所提供的一种计算机设备的架构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
相关技术中,可以通过在车辆安装图像采集设备,利用图像采集设备采集的场景图像,构建泊车地图,但是在低成本的建图中,图像采集设备的精度一般较低,使得单次构建的泊车地图的精度较低,无法满足高质量的要求。
基于上述研究,本公开提供了一种地图生成方法、装置及计算机设备,通过设置约束因子,且设置的约束因子包括:指示同一局部地图中不同地图元素之间相对位置关系的第一约束因子、指示同一地图元素在不同局部地图中位置关系的第二约束因子;本公开通过设置的第二约束因子可以使得对齐后的多个局部地图之间地图元素的偏差满足要求,比如可以使得同一车位在不同局部地图中的位置偏差较小,以及通过设置的第一约束因子可以使得每个局部地图中不同地图元素的相对位置满足要求,比如可以使得同一局部地图中不同车位之间相对位置不变,以避免不同车位的重叠;进而通过设置的约束因子的约束,基于每两个局部地图之间的关联信息,可以使得多个局部地图的对齐精度较高,进而在将对齐后的多个局部地图进行融合时,可以使得生成的目标场景的目标地图的精度较高、质量较好。
同时,由于本公开中局部地图的地图信息包含地图元素上关键点的点云信息,且将多个局部地图进行融合以生成目标地图的过程,不依赖目标场景的场景图像,故无需对场景图像进行保存,且得到局部地图的过程对场景图像的精度无要求,可见局部地图的构建较简便,使得目标地图的生成过程满足轻量化、低成本的要求,同时融合后得到目标地图的过程满足了高质量要求。
针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种地图生成方法进行详细介绍。本公开实施例所提供的地图生成方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为用户设备(User Equipment,UE)、移动设备、计算设备、车载设备等。在一些可能的实现方式中,该地图生成方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示,为本公开实施例提供的地图生成方法的流程示意图,所述方法包括S101-S104,其中:
S101,获取针对目标场景构建的多个局部地图的地图信息,所述地图信息包括地图元素上关键点的点云信息;
S102,针对所述多个局部地图中每两个局部地图,将所述两个局部地图中匹配同一对象的地图元素进行关联,得到所述两个局部地图之间的关联信息;
S103,基于所述多个局部地图中每两个局部地图之间的所述关联信息、和设置的约束因子,对所述多个局部地图进行对齐操作,生成对齐后的多个局部地图,其中所述约束因子包括:指示同一局部地图中不同地图元素之间相对位置关系的第一约束因子、指示同一地图元素在不同局部地图中位置关系的第二约束因子;
S104,将所述对齐后的多个局部地图进行融合,生成所述目标场景的目标地图。
下述对S101-S104进行具体说明。
针对S101:
多个局部地图可以为在不同移动轨迹下构建得到的,比如可以利用一个车辆或者多个车辆,通过按照不同移动轨迹在目标场景中移动后,根据提取的地图元素上关键点的点云信息,构建得到多个局部地图。其中局部地图的构建可以根据实际需要进行确定。示例性的,可以在车辆上安装有图像采集设备,控制车辆按照移动轨迹移动,在移动过程中控制图像采集设备实时采集目标场景的场景图像,对采集到的场景图像进行特征点提取,确定场景图像中各个地图元素的关键点的点云信息,利用各个地图元素的关键点的点云信息构建得到目标场景的局部地图。
局部地图包含地图元素上关键点的点云信息,点云信息包括关键点的位置信息、语义信息,还可以包括关键点的颜色信息等。地图元素为目标场景中包含的语义对象,比如在目标场景为泊车场景时,地图元素可以包括车位元素、引导箭头元素等。地图元素的关键点可以为构成地图元素形状的关键顶点,参见图2所示,比如地图元素为车位元素21时,关键点可以包含车位元素上的四个顶点;再比如地图元素为引导箭头元素22时,关键点可以包含头部关键点、弯曲处的关键点、尾部关键点等。
本公开中地图信息包括地图元素上关键点的点云信息,与地图信息包含地图元素的稠密点云的点云信息相比,本公开中每个地图元素包含的关键点较少,使得地图信息的数据量较少,后续根据数据量较少的多个局部地图,能够较快速的将多个局部地图进行融合,得到目标地图,提高了目标地图的生成效率。并且,由于地图元素的关键点可以为构成地图元素形状的关键顶点,该关键点能够较准确的表征地图元素的形状,进而在提高生成效率的同时,还能够保证目标地图的精度。
针对S102:
在获取到多个局部地图的地图信息之后,可以将多个局部地图中每两个局部地图进行地图元素的关联,得到每两个局部地图之间的关联信息。示例性的,若多个局部地图包含局部地图1、局部地图2、局部地图3,可以将局部地图1和局部地图2中,匹配目标场景中同一对象的地图元素进行关联,得到局部地图1和局部地图2之间的关联信息,比如若局部地图1中地图元素1匹配目标场景的车位1,局部地图2中地图元素2匹配目标场景的车位1,则可以将地图元素1和地图元素2关联,得到局部地图1和局部地图2的关联信息。同理,可以得到局部地图1和局部地图3之间的关联信息,局部地图2和局部地图3之间的关联信息。
一种可选实施方式中,在S102中,针对所述多个局部地图中每两个局部地图,将所述两个局部地图中匹配同一对象的地图元素进行关联,得到所述两个局部地图之间的关联信息,具体包括:
步骤a1,针对所述多个局部地图中每两个局部地图,确定所述两个局部地图中第一局部地图与第二局部地图之间的变换信息,所述变换信息包括位置变换信息和旋转变换信息;并利用所述变换信息,对所述第一局部地图进行调整,生成调整后第一局部地图。
步骤a2,针对所述第二局部地图包含的每个第一地图元素,基于预设匹配指标,从所述调整后第一局部地图中确定与所述第一地图元素匹配的第二地图元素。
步骤a3,基于各个所述第一地图元素分别匹配的第二地图元素,生成所述两个局部地图之间的关联信息。
在步骤a1中,针对多个局部地图中每两个局部地图,可以基于两个局部地图包含的各个地图元素的关键点的点云信息,对两个局部地图进行配准,生成两个局部地图之间的配准结果,配准结果包含变换信息,变换信息包括位置变换信息和旋转变换信息;比如可以使用语义点云配准方法(Semantic Iterative Closest Point,SICP)进行局部地图的配准过程。利用变换信息,对第一局部地图进行调整,生成调整后第一局部地图,即将第一局部地图转换至第二局部地图对应的坐标系下,实现了两个局部地图的坐标系统一。
考虑到本公开中地图信息包含的地图元素的关键点的点云信息,地图元素的关键点较稀疏,为了较准确的生成两个局部地图之间的变换信息,可以先对局部地图中多个关键点的点云信息之间进行插值,生成包含较稠密的关键点的处理后局部地图,再利用较稠密的关键点,确定两个局部地图之间的变换信息。
具体实施时,确定所述两个局部地图中第一局部地图与第二局部地图之间的变换信息,包括:
步骤a11,对所述第一局部地图包含的地图元素上关键点的点云信息进行插值处理,生成处理后第一局部地图;以及对所述第二局部地图包含的地图元素上关键点的点云信息进行插值处理,生成处理后第二局部地图。
步骤a12,基于关键点的点云信息指示的语义信息和位置信息,将所述处理后第一局部地图与所述处理后第二局部地图进行配准,生成第一局部地图与第二局部地图之间的变换信息。
在步骤a11中,对第一局部地图包含的地图元素上关键点的点云信息进行插值处理,生成处理后第一局部地图,与处理前的第一局部地图相比,处理后第一局部地图中每个地图元素包含的关键点增多。比如可以针对第一局部地图中地图元素,基于该地图元素中相邻关键点的位置信息,确定新增关键点的位置信息,并基于该地图元素中相邻关键点的语义信息,确定新增关键点的语义信息,即得到新增关键点的点云信息,实现了关键点的插值处理。同理,可以对第二局部地图包含的地图元素上关键点的点云信息进行插值处理,生成处理后第二局部地图。
在步骤a12中,再利用SICP算法,基于关键点的点云信息指示的语义信息和位置信息,将处理后第一局部地图与所述处理后第二局部地图进行配准,生成第一局部地图与第二局部地图之间的变换信息。
这里先对第一局部地图和第二局部地图上关键点进行插值处理,生成处理后第一局部地图和处理后第二局部地图,可以使得处理后第一局部地图和处理后第二局部地图包含的关键点较稠密,进而对处理后的第一局部地图和处理后第二局部地图进行配准,可以较准确的生成第一局部地图与第二局部地图之间的变换信息,以便后续可以基于精度较高的变换信息,更准确的生成两个局部地图之间的关联信息。
在步骤a2中,由于已经对第一局部地图进行了调整,得到调整后第一局部地图,使得调整后第一局部地图与第二局部地图位于同一坐标系下,故针对第二局部地图中每个第一地图元素,可以根据调整后第一局部地图中地图元素上关键点的点云信息,确定调整后第一局部地图中各个地图元素与第一地图元素之间的预设匹配指标的值,比如预设匹配指标可以为距离、交并比(Intersection-over-Union,IOU)等,在预设匹配指标为IOU时,可以从调整后第一局部地图中选取IOU值最大的地图元素,作为与第一地图元素匹配的第二地图元素。
一种可选实施方式中,在步骤a2中,针对所述第二局部地图包含的每个第一地图元素,基于预设匹配指标,从所述调整后第一局部地图中确定与所述第一地图元素匹配的第二地图元素,具体包括:
步骤a21,针对所述第二局部地图包含的每个第一地图元素,以所述第一地图元素所处位置为中心,确定目标区域范围。
步骤a22,从所述调整后第一局部地图中,确定位于所述目标区域范围内的候选地图元素。
步骤a23,基于所述预设匹配指标,从所述候选地图元素中确定与所述第一地图元素匹配的第二地图元素。
考虑到调整后第一局部地图中包括的地图元素较多,而相互匹配的地图元素之间的位置偏差较小,故可以先针对第二局部地图包含的每个第一地图元素,以第一地图元素所处位置为中心,确定目标区域范围,其中目标区域可以为圆形区域、方形区域等。比如以圆形区域为例,可以以第一地图元素所处位置为中心,以预设长度为半径,确定目标区域范围。
由于位于目标区域范围之外的其他地图元素与第一地图元素的位置偏差较大,即其他地图元素与第一地图元素匹配的可能性较低,故将位于目标区域范围之外的其他地图元素排除,即可以从调整后第一局部地图中,确定位于目标区域范围内的候选地图元素。并基于候选地图元素的关键点的点云信息(比如包括的位置信息)、和第一地图元素的关键点的点云信息,确定每个候选地图元素与第一地图元素的预设匹配指标(比如IOU),选取预设匹配指标最大的候选地图元素,作为与第一地图元素匹配的第二地图元素。
这里,通过确定目标区域范围,从调整后第一局部地图中,确定位于目标区域范围内的候选地图元素,将位于目标区域范围之外的其他地图元素排除,再基于预设匹配指标,从候选地图元素中确定与第一地图元素匹配的第二地图元素,可以提高地图元素的匹配效率。
在步骤a2中可以从调整后第一局部地图中,确定得到第二局部地图中各个第一地图元素分别匹配的第二地图元素。在步骤a3中,可以将各个第一地图元素分别与匹配的第二地图元素进行关联,得到两个局部地图之间的关联信息,比如关联信息可以包括:第一局部地图中第一地图元素1、与第二局部地图中第二地图元素1匹配,第一局部地图中第一地图元素2、与第二局部地图中第二地图元素2匹配等等。
这里,通过确定两个局部地图中第一局部地图与第二局部地图之间的变换信息,在利用变换信息,对第一局部地图进行调整,生成调整后第一局部地图时,第二局部地图和调整后第一局部地图中地图元素的位置偏差较小,进而能够较准确的生成两个局部地图之间的关联信息。
针对S103:
可以根据多个局部地图中每两个局部地图之间的关联信息,对多个局部地图进行对齐,即对局部地图中关键点的点云信息指示的位置信息进行调整,执行多次对齐过程,直到根据对齐后的多个局部地图确定的约束因子的值满足要求。其中,约束因子包括:指示同一局部地图中不同地图元素之间相对位置关系的第一约束因子、指示同一地图元素在不同局部地图中位置关系的第二约束因子;即在第二约束因子满足要求时,表征每两个局部地图中具有关联关系的地图元素之间的相对位置偏差较小;在第一约束因子满足要求时,表征不同地图元素在对齐后的局部地图中的相对位置、和在对齐前的局部地图中的相对位置之间的偏差较小。
本公开考虑到多个局部地图为在不同移动轨迹下构建的,移动轨迹包括多个轨迹点,每个轨迹点的位姿信息包含位置信息和姿态信息,而地图元素与轨迹点之间的相对位置是固定的,因此可以将轨迹点作为优化变量,通过对移动轨迹中各个轨迹点的优化,带动局部地图中各个地图元素进行对齐,实现多个局部地图的对齐操作,由于轨迹点的数量、比地图元素上关键点的数量少,故通过优化轨迹点带动各个地图元素进行对齐的对齐方式,可以在保障对齐精度的同时,提高各个局部地图的对齐效率。
参见图3所示,图3中包括多条移动轨迹上的轨迹点31(不同的颜色对应不同的轨迹点),以及与轨迹点关联的地图元素32,根据图3所示,本公开通过将不同移动轨迹上轨迹点的对齐操作,实现了对轨迹点关联的地图元素的对齐。下述对多个局部地图的对齐过程进行具体说明。
所述基于所述多个局部地图中每两个局部地图之间的所述关联信息、和设置的约束因子,对所述多个局部地图进行对齐操作,生成对齐后的多个局部地图,包括:
S1031,针对每个所述局部地图,将所述局部地图中每个地图元素、与匹配的轨迹点关联。
S1032,对所述多个局部地图分别对应的移动轨迹中轨迹点进行对齐操作,生成不同移动轨迹之间的轨迹变换信息。
S1033,基于不同移动轨迹之间的轨迹变换信息、所述多个局部地图中每两个局部地图之间的所述关联信息、和设置的约束因子,对所述多个局部地图中与轨迹点关联的地图元素进行对齐操作,生成对齐后的多个局部地图。
实施时,由于局部地图为移动设备比如车辆在按照移动轨迹移动时构建得到的,移动轨迹包括多个轨迹点,故可以将局部地图中每个地图元素与匹配的轨迹点进行关联。
其中确定地图元素匹配的轨迹点的方式可以根据需要进行设置。示例性的,可以根据位置指标或者时间指标,确定每个地图元素匹配的轨迹点;比如,可以确定地图元素a与多个轨迹点之间的距离,将距离最近的轨迹点a确定为与地图元素a匹配的轨迹点。再比如,若在轨迹点a时,检测到了地图元素a,则可以将地图元素a与轨迹点a关联;若多个轨迹点下检测到了地图元素a,则可以随机从检测到地图元素a的多个轨迹点中选取一轨迹点,作为与地图元素a匹配的轨迹点,再或者,也可以从检测到地图元素a的多个轨迹点中选取中间位置的轨迹点,作为与地图元素a匹配的轨迹点。再比如,若车辆在时间a时,检测到了地图元素a,则可以确定地图元素a、与时间点a对应的轨迹点a匹配。
对多个局部地图分别对应的移动轨迹中轨迹点进行对齐操作,生成不同移动轨迹之间的轨迹变换信息,该轨迹变换信息可以包括不同移动轨迹上各个轨迹点对齐时的位置变换信息、旋转变换信息等。由于地图元素与轨迹点之间具有相对位置关系,因此可以根据不同移动轨迹上轨迹点之间的轨迹变换信息,对轨迹点关联的地图元素进行对齐。
实施时,可以根据不同移动轨迹之间的轨迹变换信息、和多个局部地图中每两个局部地图之间的关联信息,对多个局部地图中地图元素进行对齐操作,执行多次迭代对齐操作,直至确定的约束因子的值满足要求,生成对齐后的多个局部地图。
比如,可以确定不同移动轨迹之间的轨迹变换信息,并基于不同移动轨迹之间的轨迹变换信息,对多个局部地图中与轨迹点关联的地图元素进行对齐,生成本次对齐后的多个局部地图;再基于不同局部地图之间的关联信息,确定本次对齐后的多个局部地图的约束因子的值;在约束因子的值不满足要求的情况下,返回至确定不同移动轨迹之间的轨迹变换信息的步骤;在约束因子的值满足要求的情况下,得到对齐后的多个局部地图。
考虑到地图元素与轨迹点之间具有相对位置关系,本公开通过将地图元素与轨迹点关联,通过优化不同移动轨迹上轨迹点的方式,带动多个局部地图中地图元素的对齐,在保障多个局部地图的对齐精度的情况下,提高了多个局部地图的对齐效率。
本公开中,设置的约束因子包括:指示同一局部地图中不同地图元素之间相对位置关系的第一约束因子、和指示同一地图元素在不同局部地图中位置关系的第二约束因子。
下述先对确定第一约束因子的过程进行具体说明。本公开中目标场景可以为车辆的泊车场景,可知泊车场景下对目标地图上车位元素的精度要求较高,因此下述以地图元素为车位元素为例进行具体说明。
参见图4a所示,本公开考虑到在泊车场景中多个车位元素在空间结构上一般可以两两相邻设置,在实际场景中相邻车位之间不会出现重叠、交叉等情况,因此本公开想到在将多个局部地图融合得到目标地图时,要求目标地图中相邻车位之间不能错位,即不能出现如图4b所示的情况。基于上述研究,本公开想到在多个局部地图融合时,对于同一局部地图中相邻车位之间需要设计约束因子,以缓解多个局部地图对齐后相邻车位之间混叠的现象。因此,本公开对单个车位元素进行建模,把每个车位元素抽象成一个刚体变换矩阵(即刚体变换信息),并设置了第一约束因子,在融合优化时,通过第一约束因子对同一局部地图中相邻车位的空间位置进行约束,以缓解上述问题。
确定第一约束因子的步骤,具体包括:
步骤b1,针对每个所述局部地图,基于所述局部地图中每个车位元素上关键点的点云信息,生成所述车位元素对应的刚体变换信息,所述刚体变换信息包括刚体平移信息和刚体旋转信息;
步骤b2,基于所述局部地图内相邻车位元素中第一车位元素的刚体变换信息、和所述相邻车位元素中第二车位元素的刚体变换信息,确定所述局部地图中所述相邻车位元素的第一约束因子。
在步骤b1中,针对每个局部地图,可以将局部地图中每个车位元素抽象为4×4的刚体变换,即可以基于车位元素上关键点的点云信息,确定车位元素对应的刚体平移信息和刚体旋转信息,基于刚体平移信息和刚体旋转信息确定车位元素对应的刚体变换信息。比如,可以基于车位元素上四个关键点的点云信息,确定车位几何中心的坐标信息,将车位几何中心的坐标信息确定为刚体平移信息。再比如基于车位元素上四个关键点的点云信息,确定拟合的法向量,将法向量确定为轴的方向向量;将车位元素的方向向量,确定为/>轴的方向向量,车位元素的方向向量为车位中心点指向车位入口线中心的方向;再根据右手规则,用叉乘计算得到/>轴的方向向量,即/>=/>×/>。其中/>轴、/>轴、/>轴的方向向量构成车位元素对应的刚体旋转信息。
在步骤b2中,可以基于局部地图内相邻车位元素中第一车位元素的刚体变换信息、和相邻车位元素中第二车位元素的刚体变换信息,确定局部地图中相邻车位元素的第一约束因子,利用第一约束因子表征相邻车位之间的相对位姿关系。由于刚体变换信息为4×4的矩阵,因此可以确定第一车位元素的刚体变换信息的逆矩阵,基于逆矩阵和第二车位元素的刚体变换信息,确定第一约束因子。
这里通过设置的第一约束因子,约束同一局部地图中相邻车位元素之间的相对位置,可以保障目标地图中相邻车位元素不错位,提高了目标地图的精度。
考虑到本公开提出了一种通过优化轨迹点,以带动局部地图中各个地图元素进行对齐的对齐方法,为了适配于该对齐方法,可以将相邻车位元素之间的相对位姿转换为车位元素匹配的轨迹点之间的相对位姿。
一种可选实施方式中,步骤b2中,基于所述局部地图内相邻车位元素中第一车位元素的刚体变换信息、和所述相邻车位元素中第二车位元素的刚体变换信息,确定所述局部地图中所述相邻车位元素的第一约束因子,具体包括:
步骤b21,基于所述第一车位元素的刚体变换信息、和所述第一车位元素匹配的第一轨迹点的位姿信息,确定所述第一车位元素相对于所述第一轨迹点的第一变换信息。
步骤b22,基于所述第一车位元素的刚体变换信息和所述第二车位元素的刚体变换信息,确定所述第二车位元素相对于所述第一车位元素之间的第二变换信息。
步骤b23,基于所述第二车位元素的刚体变换信息、和所述第二车位元素匹配的第二轨迹点的位姿信息,确定所述第二轨迹点相对于所述第二车位元素的第三变换信息。
步骤b24,基于所述第一变换信息、所述第二变换信息和所述第三变换信息,确定所述局部地图中所述相邻车位元素的第一约束因子。
参见图5所示,局部地图中包括有车位元素,即车位1、车位2和车位3,以及每个车位元素匹配的轨迹点,即车位1匹配的轨迹点V1、车位2匹配的轨迹点V2、车位3匹配的轨迹点V3,其中车位1和车位2相邻,车位2和车位3相邻。以相邻车位元素包括第一车位元素即车位1、和第二车位元素即车位2为例进行说明,这里,可以基于车位1的刚体变换信息、和第一车位元素匹配的第一轨迹点(即轨迹点V1)的位姿信息,确定车位1相对于轨迹点V1的第一变换信息T_V1_车位1;比如可以确定车位1的刚体变换信息的逆矩阵,再基于车位1的刚体变换信息的逆矩阵、和轨迹点V1的位姿信息,确定第一变换信息。以及基于车位1的刚体变换信息和车位2的刚体变换信息,确定车位2相对于车位1之间的第二变换信息T_车位1_车位2;以及基于车位2的刚体变换信息、和车位2匹配的轨迹点V2的位姿信息,确定轨迹点V2相对于车位2的第三变换信息T_车位2_V2。
再将第一变换信息、第二变换信息、和第三变换信息相乘,即T_V1_V2= T_V1_车位1×T_车位1_车位2×T_车位2_V2,将T_V1_V2确定为局部地图中相邻车位元素的第一约束因子,实现了将车位1和车位2的相对位姿关系转换为轨迹点V1和轨迹点V2之间的相对位姿关系,以便后续通过轨迹点的优化,实现车位元素的优化。同理,参考上述过程可以得到图5中车位2和车位3之间的第一约束因子,以便后续实现车位2和车位3之间的优化。
下述再对确定第二约束因子的过程进行具体说明。
参见图6所示,图6中示出了车位入口线61、以及位于车位入口线上的两个入口关键点62、位于车位入口线之外的两个非入口关键点63。本公开考虑到在泊车场景中,车辆一般通过车位入口线驶入车位内,造成车位容易受到车辆遮挡,使得在构建的局部地图中车位入口点(即入口关键点)的精度较高,车位后方的两个关键点(即非入口关键点)的精度较低。基于局部地图存在的上述问题,在将多个局部地图进行对齐时,会存在以下问题:对于同一个车位元素,在多个局部地图中几何形状可能不一致。基于此,本公开在设计第二约束因子时,对车位入口点(即入口关键点)和后方关键点(即非入口关键点)分别创建不同的因子约束,以解决不同局部地图中车位元素几何形状不一致的问题。
一种可选实施方式中,所述地图元素包括车位元素,所述车位元素包括位于车位入口线上的入口关键点、和不位于车位入口线的非入口关键点;根据下述步骤确定所述第二约束因子:
步骤c1,针对两个局部地图中关联的同一车位元素,基于所述车位元素上入口关键点分别在所述两个局部地图的点云信息,确定所述入口关键点对应的第二约束因子。
步骤c2,基于所述车位元素上非入口关键点在第一局部地图的点云信息、以及第二局部地图上所述非入口关键点所在的侧面边线的表达式信息,确定所述非入口关键点对应的第二约束因子,其中所述两个局部地图包含第一局部地图和第二局部地图。
实施时,针对车位元素上的入口关键点,可以将入口关键点的约束类型确定为点到点的约束,以保障入口关键点对齐,即基于车位元素上入口关键点分别在不同局部地图的点云信息,确定点与点之间的距离,将该距离确定为入口关键点对应的第二约束因子。
针对车位元素上的非入口关键点,可以将非入口关键点的约束类型确定为点到直线的约束,以保障车位侧面对齐。即可以基于车位元素上非入口关键点在第一局部地图的点云信息、以及第二局部地图上非入口关键点所在的侧面边线的表达式信息,确定点到侧面边线的距离,将点到线的距离确定为非入口关键点对应的第二约束因子。其中侧面边线的表达式信息为基于侧面边线上两个关键点的点云信息确定的。
本公开通过分别设置非入口关键点的第二约束因子和入口关键点的第二约束因子,可以使得对齐后的车位元素上入口关键点重合,非入口关键点所在的侧面边线重合,提高了车位元素的对齐效果。参见图7所示,图7中展示有对齐前的车位元素、和按照上述设置第二约束因子后得到的对齐后的车位元素。
针对S104:
在得到对齐后的多个局部地图之后,可以将对齐后的多个局部地图进行融合,比如可以确定车位元素上每个关键点在多个局部地图上的点云信息的平均位置,得到车位元素在目标地图上的目标点云信息,进而可以得到目标地图。
考虑到泊车场景中多个车位可以共用车位入口线,为了使得满足上述泊车场景的车位特点,可以在得到目标地图之后,对目标地图进行后处理,以使得后处理后的目标地图中属于同一车位组的各个车位元素的入口关键点位于同一车位入口线上。
一种可选实施方式中,所述地图元素包括车位元素;在所述将所述对齐后的多个局部地图进行融合,生成所述目标场景的目标地图之后,还包括:
步骤201,基于设置的相邻车位元素之间的距离偏差阈值和方向偏差阈值,将所述目标地图中包含的各个车位元素划分为多个车位组;
步骤202,针对每个车位组,基于所述车位组内包含的各个车位元素的入口关键点的点云信息,生成所述车位组对应的车位入口线的表达式信息;
步骤203,基于各个车位组分别对应的所述车位入口线的表达式信息,将所述目标地图中,每个所述车位组内多个车位元素的入口关键点的点云信息进行调整,生成调整后目标地图,其中所述调整后目标地图内属于同一车位组的各个车位元素的入口关键点位于同一车位入口线上。
其中距离偏差阈值和方向偏差阈值可以根据实际泊车场景进行设置,比如距离偏差阈值可以为4米、方向偏差阈值可以为10°。实施时,可以利用广度优先搜索算法或者深度优先搜索算法,基于设置的相邻车位元素之间的距离偏差阈值和方向偏差阈值,将目标地图中包含的各个车位元素划分为多个车位组。即在相邻的两个车位元素之间的距离偏差小于距离偏差阈值、且角度偏差小于方向偏差阈值时,将相邻的两个车位元素划分为一个车位组内,反之划分在不同车位组内。
针对每个车位组,基于车位组内包含的各个车位元素的入口关键点的点云信息,进行直线拟合,生成车位组对应的车位入口线的表达式信息。并基于各个车位组分别对应的车位入口线的表达式信息,将目标地图中,每个车位组内多个车位元素的入口关键点的点云信息进行调整,生成调整后目标地图,调整后目标地图内属于同一车位组的各个车位元素的入口关键点位于同一车位入口线上。比如,可以逐个将车位入口线的入口关键点投影到车位入口线上。具体投影方法可以为将入口关键点沿着车位侧边方向延伸至车位入口线上得到交点,再将入口关键点的点云信息中位置信息更新为交点的坐标信息,也即将入口关键点更新为交点,得到调整后目标地图。参见图8所示的调整前的目标地图和调整后目标地图。
这里,通过基于每个车位组对应的车位入口线的表达式信息,对目标地图中车位组内多个车位元素的入口关键点的点云信息进行调整,生成调整后目标地图,可以提高调整后目标地图的精度。
在具体实施时,在生成目标地图之后,还包括:基于所述目标地图,控制车辆移动至所述目标场景的目标车位内。
实施时可以根据目标地图的指示,控制车辆移动至目标场景的目标车位内,由于目标地图的精度较高,使得对车辆的控制较为精准,保障了车辆的行驶安全性。或者也可以根据调整后目标地图,控制车辆移动至目标场景的目标车位内。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了与地图生成方法对应的地图生成装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述地图生成方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图9所示,为本公开实施例提供的一种地图生成装置的架构示意图,所述装置包括获取模块901、关联模块902、对齐模块903、融合模块904,其中:
获取模块901,用于获取针对目标场景构建的多个局部地图的地图信息,所述地图信息包括地图元素上关键点的点云信息;
关联模块902,用于针对所述多个局部地图中每两个局部地图,将所述两个局部地图中匹配同一对象的地图元素进行关联,得到所述两个局部地图之间的关联信息;
对齐模块903,用于基于所述多个局部地图中每两个局部地图之间的所述关联信息、和设置的约束因子,对所述多个局部地图进行对齐操作,生成对齐后的多个局部地图,其中所述约束因子包括:指示同一局部地图中不同地图元素之间相对位置关系的第一约束因子、指示同一地图元素在不同局部地图中位置关系的第二约束因子;
融合模块904,用于将所述对齐后的多个局部地图进行融合,生成所述目标场景的目标地图。
一种可选的实施方式中,所述关联模块902,在针对所述多个局部地图中每两个局部地图,将所述两个局部地图中匹配同一对象的地图元素进行关联,得到所述两个局部地图之间的关联信息时,用于:
针对所述多个局部地图中每两个局部地图,确定所述两个局部地图中第一局部地图与第二局部地图之间的变换信息,所述变换信息包括位置变换信息和旋转变换信息;并利用所述变换信息,对所述第一局部地图进行调整,生成调整后第一局部地图;
针对所述第二局部地图包含的每个第一地图元素,基于预设匹配指标,从所述调整后第一局部地图中确定与所述第一地图元素匹配的第二地图元素;
基于各个所述第一地图元素分别匹配的第二地图元素,生成所述两个局部地图之间的关联信息。
一种可选的实施方式中,所述关联模块902,在确定所述两个局部地图中第一局部地图与第二局部地图之间的变换信息,用于:
对所述第一局部地图包含的地图元素上关键点的点云信息进行插值处理,生成处理后第一局部地图;以及对所述第二局部地图包含的地图元素上关键点的点云信息进行插值处理,生成处理后第二局部地图;
基于关键点的点云信息指示的语义信息和位置信息,将所述处理后第一局部地图与所述处理后第二局部地图进行配准,生成第一局部地图与第二局部地图之间的变换信息。
一种可选的实施方式中,所述关联模块902,在针对所述第二局部地图包含的每个第一地图元素,基于预设匹配指标,从所述调整后第一局部地图中确定与所述第一地图元素匹配的第二地图元素时,用于:
针对所述第二局部地图包含的每个第一地图元素,以所述第一地图元素所处位置为中心,确定目标区域范围;
从所述调整后第一局部地图中,确定位于所述目标区域范围内的候选地图元素;
基于所述预设匹配指标,从所述候选地图元素中确定与所述第一地图元素匹配的第二地图元素。
一种可选的实施方式中,所述地图元素包括车位元素;在所述将所述对齐后的多个局部地图进行融合,生成所述目标场景的目标地图之后,还包括:调整模块905,用于:
基于设置的相邻车位元素之间的距离偏差阈值和方向偏差阈值,将所述目标地图中包含的各个车位元素划分为多个车位组;
针对每个车位组,基于所述车位组内包含的各个车位元素的入口关键点的点云信息,生成所述车位组对应的车位入口线的表达式信息;
基于各个车位组分别对应的所述车位入口线的表达式信息,将所述目标地图中,每个所述车位组内多个车位元素的入口关键点的点云信息进行调整,生成调整后目标地图,其中所述调整后目标地图内属于同一车位组的各个车位元素的入口关键点位于同一车位入口线上。
一种可选的实施方式中,所述多个局部地图为在不同移动轨迹下构建的,所述移动轨迹包括多个轨迹点;所述对齐模块903,在基于所述多个局部地图中每两个局部地图之间的所述关联信息、和设置的约束因子,对所述多个局部地图进行对齐操作,生成对齐后的多个局部地图时,用于:
针对每个所述局部地图,将所述局部地图中每个地图元素、与匹配的轨迹点关联;
对所述多个局部地图分别对应的移动轨迹中轨迹点进行对齐操作,生成不同移动轨迹之间的轨迹变换信息;
基于不同移动轨迹之间的轨迹变换信息、所述多个局部地图中每两个局部地图之间的所述关联信息、和设置的约束因子,对所述多个局部地图中与轨迹点关联的地图元素进行对齐操作,生成对齐后的多个局部地图。
一种可选的实施方式中,所述多个局部地图为在不同移动轨迹下构建的,所述移动轨迹包括多个轨迹点,所述地图元素包括车位元素;所述对齐模块903,用于根据下述步骤确定所述第一约束因子:
针对每个所述局部地图,基于所述局部地图中每个车位元素上关键点的点云信息,生成所述车位元素对应的刚体变换信息,所述刚体变换信息包括刚体平移信息和刚体旋转信息;
基于所述局部地图内相邻车位元素中第一车位元素的刚体变换信息、和所述相邻车位元素中第二车位元素的刚体变换信息,确定所述局部地图中所述相邻车位元素的第一约束因子。
一种可选的实施方式中,所述基于所述局部地图内相邻车位元素中第一车位元素的刚体变换信息、和所述相邻车位元素中第二车位元素的刚体变换信息,所述对齐模块903,在确定所述局部地图中所述相邻车位元素的第一约束因子时,用于:
基于所述第一车位元素的刚体变换信息、和所述第一车位元素匹配的第一轨迹点的位姿信息,确定所述第一车位元素相对于所述第一轨迹点的第一变换信息;
基于所述第一车位元素的刚体变换信息和所述第二车位元素的刚体变换信息,确定所述第二车位元素相对于所述第一车位元素之间的第二变换信息;
基于所述第二车位元素的刚体变换信息、和所述第二车位元素匹配的第二轨迹点的位姿信息,确定所述第二轨迹点相对于所述第二车位元素的第三变换信息;
基于所述第一变换信息、所述第二变换信息和所述第三变换信息,确定所述局部地图中所述相邻车位元素的第一约束因子。
一种可选的实施方式中,所述地图元素包括车位元素,所述车位元素包括位于车位入口线上的入口关键点、和不位于车位入口线的非入口关键点;所述对齐模块903,用于根据下述步骤确定所述第二约束因子:
针对两个局部地图中关联的同一车位元素,基于所述车位元素上入口关键点分别在所述两个局部地图的点云信息,确定所述入口关键点对应的第二约束因子;
基于所述车位元素上非入口关键点在第一局部地图的点云信息、以及第二局部地图上所述非入口关键点所在的侧面边线的表达式信息,确定所述非入口关键点对应的第二约束因子,其中所述两个局部地图包含第一局部地图和第二局部地图。
一种可选的实施方式中,还包括:控制模块906,用于:基于所述目标地图,控制车辆移动至所述目标场景的目标车位内。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
基于同一技术构思,本公开实施例还提供了一种计算机设备。参照图10所示,为本公开实施例提供的计算机设备的结构示意图,包括处理器1001、存储器1002、和总线1003。其中,存储器1002用于存储执行指令,包括内存10021和外部存储器10022;这里的内存10021也称内存储器,用于暂时存放处理器1001中的运算数据,以及与硬盘等外部存储器10022交换的数据,处理器1001通过内存10021与外部存储器10022进行数据交换,当计算机设备1000运行时,处理器1001与存储器1002之间通过总线1003通信,使得处理器1001在执行以下指令:
获取针对目标场景构建的多个局部地图的地图信息,所述地图信息包括地图元素上关键点的点云信息;
针对所述多个局部地图中每两个局部地图,将所述两个局部地图中匹配同一对象的地图元素进行关联,得到所述两个局部地图之间的关联信息;
基于所述多个局部地图中每两个局部地图之间的所述关联信息、和设置的约束因子,对所述多个局部地图进行对齐操作,生成对齐后的多个局部地图,其中所述约束因子包括:指示同一局部地图中不同地图元素之间相对位置关系的第一约束因子、指示同一地图元素在不同局部地图中位置关系的第二约束因子;
将所述对齐后的多个局部地图进行融合,生成所述目标场景的目标地图。
本公开实施例还提供一种计算机程序产品,包括计算机程序/指令,当所述计算机程序/指令处理器被执行时实现如本公开各实施例提供的地图生成方法。
本公开实施例中的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时,全部或部分地执行本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备、核心网设备、OAM或者其它可编程装置。
所述计算机程序或指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,例如,软盘、硬盘、磁带;也可以是光介质,例如,数字视频光盘;还可以是半导体介质,例如,固态硬盘。该计算机可读存储介质可以是易失性或非易失性存储介质,或可包括易失性和非易失性两种类型的存储介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。
Claims (12)
1.一种地图生成方法,其特征在于,包括:
获取针对目标场景构建的多个局部地图的地图信息,所述地图信息包括地图元素上关键点的点云信息;
针对所述多个局部地图中每两个局部地图,将所述两个局部地图中匹配同一对象的地图元素进行关联,得到所述两个局部地图之间的关联信息;
基于所述多个局部地图中每两个局部地图之间的所述关联信息、和设置的约束因子,对所述多个局部地图进行对齐操作,生成对齐后的多个局部地图,其中所述约束因子包括:指示同一局部地图中不同地图元素之间相对位置关系的第一约束因子、指示同一地图元素在不同局部地图中位置关系的第二约束因子;
将所述对齐后的多个局部地图进行融合,生成所述目标场景的目标地图。
2.根据权利要求1所述的方法,其特征在于,所述针对所述多个局部地图中每两个局部地图,将所述两个局部地图中匹配同一对象的地图元素进行关联,得到所述两个局部地图之间的关联信息,包括:
针对所述多个局部地图中每两个局部地图,确定所述两个局部地图中第一局部地图与第二局部地图之间的变换信息,所述变换信息包括位置变换信息和旋转变换信息;并利用所述变换信息,对所述第一局部地图进行调整,生成调整后第一局部地图;
针对所述第二局部地图包含的每个第一地图元素,基于预设匹配指标,从所述调整后第一局部地图中确定与所述第一地图元素匹配的第二地图元素;
基于各个所述第一地图元素分别匹配的第二地图元素,生成所述两个局部地图之间的关联信息。
3.根据权利要求2所述的方法,其特征在于,所述确定所述两个局部地图中第一局部地图与第二局部地图之间的变换信息,包括:
对所述第一局部地图包含的地图元素上关键点的点云信息进行插值处理,生成处理后第一局部地图;以及对所述第二局部地图包含的地图元素上关键点的点云信息进行插值处理,生成处理后第二局部地图;
基于关键点的点云信息指示的语义信息和位置信息,将所述处理后第一局部地图与所述处理后第二局部地图进行配准,生成第一局部地图与第二局部地图之间的变换信息。
4.根据权利要求2所述的方法,其特征在于,所述针对所述第二局部地图包含的每个第一地图元素,基于预设匹配指标,从所述调整后第一局部地图中确定与所述第一地图元素匹配的第二地图元素,包括:
针对所述第二局部地图包含的每个第一地图元素,以所述第一地图元素所处位置为中心,确定目标区域范围;
从所述调整后第一局部地图中,确定位于所述目标区域范围内的候选地图元素;
基于所述预设匹配指标,从所述候选地图元素中确定与所述第一地图元素匹配的第二地图元素。
5.根据权利要求1所述的方法,其特征在于,所述地图元素包括车位元素;在所述将所述对齐后的多个局部地图进行融合,生成所述目标场景的目标地图之后,还包括:
基于设置的相邻车位元素之间的距离偏差阈值和方向偏差阈值,将所述目标地图中包含的各个车位元素划分为多个车位组;
针对每个车位组,基于所述车位组内包含的各个车位元素的入口关键点的点云信息,生成所述车位组对应的车位入口线的表达式信息;
基于各个车位组分别对应的所述车位入口线的表达式信息,将所述目标地图中,每个所述车位组内多个车位元素的入口关键点的点云信息进行调整,生成调整后目标地图,其中所述调整后目标地图内属于同一车位组的各个车位元素的入口关键点位于同一车位入口线上。
6.根据权利要求1所述的方法,其特征在于,所述多个局部地图为在不同移动轨迹下构建的,所述移动轨迹包括多个轨迹点;所述基于所述多个局部地图中每两个局部地图之间的所述关联信息、和设置的约束因子,对所述多个局部地图进行对齐操作,生成对齐后的多个局部地图,包括:
针对每个所述局部地图,将所述局部地图中每个地图元素、与匹配的轨迹点关联;
对所述多个局部地图分别对应的移动轨迹中轨迹点进行对齐操作,生成不同移动轨迹之间的轨迹变换信息;
基于不同移动轨迹之间的轨迹变换信息、所述多个局部地图中每两个局部地图之间的所述关联信息、和设置的约束因子,对所述多个局部地图中与轨迹点关联的地图元素进行对齐操作,生成对齐后的多个局部地图。
7.根据权利要求1所述的方法,其特征在于,所述多个局部地图为在不同移动轨迹下构建的,所述移动轨迹包括多个轨迹点,所述地图元素包括车位元素;根据下述步骤确定所述第一约束因子:
针对每个所述局部地图,基于所述局部地图中每个车位元素上关键点的点云信息,生成所述车位元素对应的刚体变换信息,所述刚体变换信息包括刚体平移信息和刚体旋转信息;
基于所述局部地图内相邻车位元素中第一车位元素的刚体变换信息、和所述相邻车位元素中第二车位元素的刚体变换信息,确定所述局部地图中所述相邻车位元素的第一约束因子。
8.根据权利要求7所述的方法,其特征在于,所述基于所述局部地图内相邻车位元素中第一车位元素的刚体变换信息、和所述相邻车位元素中第二车位元素的刚体变换信息,确定所述局部地图中所述相邻车位元素的第一约束因子,包括:
基于所述第一车位元素的刚体变换信息、和所述第一车位元素匹配的第一轨迹点的位姿信息,确定所述第一车位元素相对于所述第一轨迹点的第一变换信息;
基于所述第一车位元素的刚体变换信息和所述第二车位元素的刚体变换信息,确定所述第二车位元素相对于所述第一车位元素之间的第二变换信息;
基于所述第二车位元素的刚体变换信息、和所述第二车位元素匹配的第二轨迹点的位姿信息,确定所述第二轨迹点相对于所述第二车位元素的第三变换信息;
基于所述第一变换信息、所述第二变换信息和所述第三变换信息,确定所述局部地图中所述相邻车位元素的第一约束因子。
9.根据权利要求1所述的方法,其特征在于,所述地图元素包括车位元素,所述车位元素包括位于车位入口线上的入口关键点、和不位于车位入口线的非入口关键点;根据下述步骤确定所述第二约束因子:
针对两个局部地图中关联的同一车位元素,基于所述车位元素上入口关键点分别在所述两个局部地图的点云信息,确定所述入口关键点对应的第二约束因子;
基于所述车位元素上非入口关键点在第一局部地图的点云信息、以及第二局部地图上所述非入口关键点所在的侧面边线的表达式信息,确定所述非入口关键点对应的第二约束因子,其中所述两个局部地图包含第一局部地图和第二局部地图。
10.根据权利要求1所述的方法,其特征在于,还包括:
基于所述目标地图,控制车辆移动至所述目标场景的目标车位内。
11.一种地图生成装置,其特征在于,包括:
获取模块,用于获取针对目标场景构建的多个局部地图的地图信息,所述地图信息包括地图元素上关键点的点云信息;
关联模块,用于针对所述多个局部地图中每两个局部地图,将所述两个局部地图中匹配同一对象的地图元素进行关联,得到所述两个局部地图之间的关联信息;
对齐模块,用于基于所述多个局部地图中每两个局部地图之间的所述关联信息、和设置的约束因子,对所述多个局部地图进行对齐操作,生成对齐后的多个局部地图,其中所述约束因子包括:指示同一局部地图中不同地图元素之间相对位置关系的第一约束因子、指示同一地图元素在不同局部地图中位置关系的第二约束因子;
融合模块,用于将所述对齐后的多个局部地图进行融合,生成所述目标场景的目标地图。
12.一种计算机设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1-10任一项所述的地图生成方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310492788.1A CN116228925B (zh) | 2023-05-04 | 2023-05-04 | 地图生成方法、装置及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310492788.1A CN116228925B (zh) | 2023-05-04 | 2023-05-04 | 地图生成方法、装置及计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116228925A true CN116228925A (zh) | 2023-06-06 |
CN116228925B CN116228925B (zh) | 2023-08-08 |
Family
ID=86585859
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310492788.1A Active CN116228925B (zh) | 2023-05-04 | 2023-05-04 | 地图生成方法、装置及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116228925B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021057745A1 (zh) * | 2019-09-27 | 2021-04-01 | Oppo广东移动通信有限公司 | 地图融合方法及装置、设备、存储介质 |
CN113654555A (zh) * | 2021-09-14 | 2021-11-16 | 上海智驾汽车科技有限公司 | 一种基于多传感器数据融合的自动驾驶车辆高精定位方法 |
CN114034295A (zh) * | 2021-11-05 | 2022-02-11 | 阿波罗智能技术(北京)有限公司 | 高精地图生成方法、装置、电子设备、介质及程序产品 |
CN115423965A (zh) * | 2022-11-04 | 2022-12-02 | 安徽蔚来智驾科技有限公司 | 地图构建方法、设备、车辆和存储介质 |
CN115493603A (zh) * | 2022-11-17 | 2022-12-20 | 安徽蔚来智驾科技有限公司 | 地图对齐方法、计算机设备及计算机可读存储介质 |
CN115564865A (zh) * | 2022-07-21 | 2023-01-03 | 重庆长安汽车股份有限公司 | 一种众包高精地图的构建方法、系统、电子设备及车辆 |
-
2023
- 2023-05-04 CN CN202310492788.1A patent/CN116228925B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021057745A1 (zh) * | 2019-09-27 | 2021-04-01 | Oppo广东移动通信有限公司 | 地图融合方法及装置、设备、存储介质 |
CN113654555A (zh) * | 2021-09-14 | 2021-11-16 | 上海智驾汽车科技有限公司 | 一种基于多传感器数据融合的自动驾驶车辆高精定位方法 |
CN114034295A (zh) * | 2021-11-05 | 2022-02-11 | 阿波罗智能技术(北京)有限公司 | 高精地图生成方法、装置、电子设备、介质及程序产品 |
CN115564865A (zh) * | 2022-07-21 | 2023-01-03 | 重庆长安汽车股份有限公司 | 一种众包高精地图的构建方法、系统、电子设备及车辆 |
CN115423965A (zh) * | 2022-11-04 | 2022-12-02 | 安徽蔚来智驾科技有限公司 | 地图构建方法、设备、车辆和存储介质 |
CN115493603A (zh) * | 2022-11-17 | 2022-12-20 | 安徽蔚来智驾科技有限公司 | 地图对齐方法、计算机设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116228925B (zh) | 2023-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111968177B (zh) | 一种基于固定摄像头视觉的移动机器人定位方法 | |
KR102068419B1 (ko) | 포인트 클라우드 데이터 수집 궤적을 조정하기 위한 방법, 장치 및 컴퓨터 판독 가능한 매체 | |
CN111199564A (zh) | 智能移动终端的室内定位方法、装置与电子设备 | |
CN112418129B (zh) | 一种点云数据处理的方法、装置、电子设备及存储介质 | |
CN113393519B (zh) | 激光点云数据处理方法、装置及设备 | |
CN113256719A (zh) | 停车导航定位方法、装置、电子设备及存储介质 | |
CN116449392B (zh) | 一种地图构建方法、装置、计算机设备及存储介质 | |
CN116958316B (zh) | 拓扑图生成方法、装置、计算机设备及存储介质 | |
CN117739954B (zh) | 地图局部更新方法、装置及电子设备 | |
CN115046542A (zh) | 地图生成方法、装置、终端设备及存储介质 | |
Cui et al. | Mcsfm: multi-camera-based incremental structure-from-motion | |
CN116228925B (zh) | 地图生成方法、装置及计算机设备 | |
CN111964665B (zh) | 基于车载环视图像的智能车定位方法、系统及存储介质 | |
CN117824667A (zh) | 一种基于二维码和激光的融合定位方法及介质 | |
CN116817887B (zh) | 语义视觉slam地图构建方法、电子设备及存储介质 | |
CN116805047A (zh) | 多传感器融合定位的不确定性表达方法、装置及电子设备 | |
CN116228917A (zh) | 基于高精地图的路口面虚拟车道线生成方法及装置 | |
CN117933519B (zh) | 一种路网优化方法和相关装置 | |
CN118037837A (zh) | 车辆定位、智能驾驶控制方法、装置、车载设备及车辆 | |
CN118212383B (zh) | 基于深度稀疏地图的小型无人设备回程充电方法及系统 | |
CN116878487B (zh) | 一种用于建立自动驾驶地图的方法、装置、车辆和服务器 | |
CN112163509B (zh) | 图像处理方法、装置、网络设备及存储介质 | |
CN117557585B (zh) | 一种宗地地块分割方法、系统、电子设备及存储介质 | |
Xu et al. | Parking Space Detection and Path Planning Based on VIDAR | |
Li et al. | Cyber Physical System Information Collection: Robot Location and Navigation Method Based on QR Code |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |