CN117629186A - 地图构建方法、模型训练方法、装置、设备及存储介质 - Google Patents

地图构建方法、模型训练方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117629186A
CN117629186A CN202311669842.1A CN202311669842A CN117629186A CN 117629186 A CN117629186 A CN 117629186A CN 202311669842 A CN202311669842 A CN 202311669842A CN 117629186 A CN117629186 A CN 117629186A
Authority
CN
China
Prior art keywords
point cloud
training
feature
cloud information
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311669842.1A
Other languages
English (en)
Inventor
梁爽
万国伟
白宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202311669842.1A priority Critical patent/CN117629186A/zh
Publication of CN117629186A publication Critical patent/CN117629186A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Instructional Devices (AREA)

Abstract

本公开提供了一种地图构建方法、模型训练方法、装置、设备及存储介质，涉及人工智能领域，可用于地图数据处理、车辆定位、自动驾驶、深度学习等技术领域。其中，地图构建方法包括：获取目标区域包含的多个局部区域的点云信息；针对多个局部区域中任一局部区域，对该局部区域的点云信息进行关键点提取，得到该局部区域对应的多个与定位相关的关键点；根据多个局部区域分别对应的关键点，构建目标区域的定位地图。从而，构建得到稀疏的定位地图，减少了定位地图占用的存储空间，占用存储空间减少的定位地图可满足有限存储资源下大范围的定位需求。

Description

地图构建方法、模型训练方法、装置、设备及存储介质
技术领域
本公开涉及人工智能领域，尤其涉及一种地图构建方法、模型训练方法、装置、设备及存储介质，可用于地图数据处理、车辆定位、自动驾驶、深度学习等技术领域。
背景技术
对于自动驾驶而言，自主定位是重要的基础模块之一。为了自主定位可以获得准确的定位信息，需要事先离线构建定位地图。
在定位定图的构建过程中，可通过3D激光雷达(light detection and ranging,LiDAR)获取3D点云信息，对3D点云信息进行拼接，得到包含有稠密的3D点云信息的定位地图，以满足较高的定位精度和鲁棒性。
然而，上述方式得到的定位地图占用的存储空间较大，不能满足有限存储资源下大范围的定位需求。
发明内容
本公开提供了一种用于解决定位地图占用的存储空间较大的问题的地图构建方法、模型训练方法、装置、设备及存储介质。
根据本公开的第一方面，提供了一种地图构建方法，包括：获取目标区域包含的多个局部区域的点云信息；针对所述多个局部区域中任一局部区域，对所述局部区域的点云信息进行关键点提取，得到所述局部区域对应的多个与定位相关的关键点；根据所述多个局部区域分别对应的关键点，构建所述目标区域的定位地图。
根据本公开的第二方面，提供了一种模型训练方法，包括：获取全局训练区域的第一点云信息、所述全局训练区域对应的局部训练区域的第二点云信息以及所述第一点云信息与所述第二点云信息之间的实际相对位姿；根据所述第一点云信息、所述第二点云信息和所述实际相对位姿，训练得到特征图提取网络、位姿估计网络和第一阶段训练完成的特征点提取网络；根据所述第一点云信息、所述第二点云信息和所述实际相对位姿、所述特征图提取网络和所述位姿估计网络，对第一阶段训练完成的特征点提取网络进行第二阶段的训练，得到第二阶段训练完成的特征点提取网络；其中，所述特征图提取网络和第二阶段训练完成的特征点提取网络用于定位地图的构建
根据本公开的第三方面，提供了一种地图构建装置，包括：获取单元，用于获取目标区域包含的多个局部区域的点云信息；关键点提取单元，用于针对所述多个局部区域中任一局部区域，对所述局部区域的点云信息进行关键点提取，得到所述局部区域对应的多个与定位相关的关键点；地图构建单元，用于根据所述多个局部区域分别对应的关键点，构建所述目标区域的定位地图。
根据本公开的第四方面，提供了一种模型训练装置，包括：训练数据获取单元，用于获取全局训练区域的第一点云信息、所述全局训练区域对应的局部训练区域的第二点云信息以及所述第一点云信息与所述第二点云信息之间的实际相对位姿；第一训练单元，用于根据所述第一点云信息、所述第二点云信息和所述实际相对位姿，训练得到特征图提取网络、位姿估计网络和第一阶段训练完成的特征点提取网络；第二训练单元，用于根据所述第一点云信息、所述第二点云信息和所述实际相对位姿、所述特征图提取网络和所述位姿估计网络，对第一阶段训练完成的特征点提取网络进行第二阶段的训练，得到第二阶段训练完成的特征点提取网络；其中，所述特征图提取网络和第二阶段训练完成的特征点提取网络用于定位地图的构建。
根据本公开的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的地图构建方法或者执行第二方面所述的模型训练方法。
根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面所述的地图构建方法或者执行第二方面所述的模型训练方法。
根据本公开的第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的地图构建方法或者执行第二方面所述的模型训练方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是本公开适用的一种应用场景的示意图；
图2是根据本公开第一实施例的示意图；
图3是根据本公开第二实施例的示意图；
图4是根据本公开第三实施例的示意图；
图5是根据本公开的上述实施例提供的定位地图构建的流程示例图；
图6是根据本公开第四实施例的示意图；
图7是根据本公开第五实施例的示意图；
图8是根据本公开第六实施例的示意图；
图9是根据本公开的上述实施例提供的模型训练的流程示例图；
图10是本公开第七实施例的示意图；
图11是本公开第八实施例的示意图；
图12为可以用来实施本公开的实施例的示例电子设备1200的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在定位地图的构建方案中，可利用三维(3D)激光雷达(light detection andranging，LiDAR)采集的点云信息拼接得到定位地图。根据定位地图的存储内容不同，定位地图分为点云地图、占据栅格地图、基于高斯混合模型的栅格地图等。点云地图中存储有稠密的点云信息，随着地图范围的增大，点云地图的大小急剧增大，不适合用于量产方案。占据栅格地图将空间划分切固定分二维(2D)栅格，与点云地图相比，占据栅格地图占据的存储空间减少，但是占据栅格地图对环境变化非常敏感，定位鲁棒性较低。基于高斯混合模型的栅格地图可以在占据栅格地图的基础上在每个2D栅格中存储高斯混合模型，增加了栅格地图的表达能力，有助于提高定位的鲁棒性。然而，上述方案还存在以下问题：1、不论是点云地图、占据栅格地图还是基于高斯混合模型的栅格地图，都需要存储全区域范围的信息，地图的数据量大小与地图范围的平方成正比；2、上述方案依赖手工策略来构建定位地图，为达到较高的定位精度，需要提前根据不同环境来选择合适的超参数，环境适应性较差。
为解决上述问题，本申请提出一种地图构建方法，涉及人工智能领域，可用于地图数据处理、车辆定位、自动驾驶、深度学习等技术领域。在该方法中，从目标区域包含的多个局部区域的点云信息中，提取出局部区域对应的对定位有帮助的关键点，基于多个局部区域分别对应的对定位有帮助的关键点，为目标区域构建得到稀疏的定位地图，在确保定位精度的同时，使得定位地图的冗余信息减少以及点云的稠密程度降低，减少了定位地图需要占用的存储空间，满足有限存储资源下大范围的定位需求。而且，本申请提供的地图构建方法无需针对不同环境设置不同的超参数，提高了定位的鲁棒性。
可见，本申请提供的地图构建方法，可以应用到量产自动驾驶的解决方案中，实现轻量化定位地图的端到端生产流程。本申请构建的定位地图可以为自动驾驶车辆提供自主定位功能，具体的应用领域可以包括自动泊车、辅助驾驶、清洁环卫、自动配送、自动驾驶车辆(如自动驾驶出租车、自动驾驶卡车、自动驾驶公交车)等。
图1是本公开适用的一种应用场景的示意图。在该应用场景中包括车辆110和服务器120，在车辆110上可部署有自主定位模块111，以实现自主定位功能，自主定位模块111可以是车机上的软件模块，也可以是软硬件结合实现的功能模块。在定位地图构建过程中，服务器120可对目标区域包含的多个局部区域的点云信息进行关键点提取，基于提取得到的与定位相关的关键点，构建得到目标区域的定位地图。服务器120可以将构建好的定位地图下发到车辆110上，以辅助自动定位模块111实现在目标区域的自主定位。
本公开的各个实施例可在终端和/或服务器上实现。其中，终端可以是个人数字助理(personal digital assistant，简称PDA)设备、具有无线通信功能的手持设备(例如智能手机、平板电脑)、计算设备(例如个人电脑(personal computer，简称PC))、可穿戴设备(例如智能手表、智能手环)以及智能家居设备(例如智能音箱、智能显示设备)等。服务器可以为独立的服务器也可以为服务器集群，可以为本地服务器也可以为云服务器。
下面以具体的实施例对本公开的技术方案以及本公开的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本公开的实施例进行描述。
图2是根据本公开第一实施例的示意图。如图2所示，本公开第一实施例提供的地图构建方法包括：
S201，获取目标区域包含的多个局部区域的点云信息。
其中，目标区域是较大的地图区域，包含多个局部区域。局部区域的点云信息中包含局部区域所在的坐标系下的多个点的属性信息，比如空间坐标、颜色、检测时间等。局部区域的点云信息可以由雷达检测装置检测得到。
本实施例中，可从数据库中获取目标区域包含的多个局部区域的点云信息，或者，可接收来自雷达检测装置发送的多个局部区域的点云信息。
在一种可能的实现方式中，可响应于构建目标区域的定位地图的请求，获取目标区域包含的多个局部区域的点云信息，构建目标区域的定位地图的请求可以由用户输入或者触发，也可以预先配置目标区域的定位地图的构建任务，在该构建任务启动时触发构建目标区域的定位地图的请求。
S202，针对多个局部区域中任一局部区域，对该局部区域的点云信息进行关键点提取，得到该局部区域对应的多个与定位相关的关键点。
本实施例中，在局部区域的点云信息中，并不是每个点都与定位相关，为了减少定位地图的数据冗余和降低定位地图的数据量，针对多个局部区域中任一局部区域，可在该局部区域的点云信息中提取与定位相关的点，提取得到局部区域对应的多个与定位相关的点。在此，为了描述简洁且便于区分，将与定位相关的点称为关键点。对多个局部区域分别进行关键点的提取操作，可以得到多个局部区域分别对应的关键点。
S203，根据多个局部区域分别对应的关键点，构建目标区域的定位地图。
本实施例中，由于目标区域包含该多个局部区域，可基于多个局部区域分别对应的关键点，得到定位地图中的多个点，即构建得到定位地图。比如，将多个局部区域分别对应的关键点组合形成定位地图，又如，对该多个局部区域分别对应的关键点进行处理后(比如考虑到多个局部区域可能重合，可以进行去重处理)，再组合形成定位地图。
本公开实施例中，针对目标区域包含的每个局部区域，从局部区域的点云信息中，提取出局部区域对应的多个与定位相关的关键点，基于多个局部区域分别对应的与定位相关的关键点，构建目标区域的定位地图，减少了定位地图中与定位无关的冗余数据，使得定位地图更为稀疏，减少定位地图占用的存储空间，使其可以满足有限存储资源下大范围的定位需求。
图3是根据本公开第二实施例的示意图。如图3所示，本公开第二实施例提供的地图构建方法包括：
S301，获取目标区域包含的多个局部区域的点云信息。
其中，S301的实现原理和技术效果可参照前述实施例，不再赘述。
S302，针对多个局部区域中任一局部区域，对该局部区域的点云信息进行特征图提取，得到该局部区域对应的特征图。
本实施例中，局部区域的点云信息是局部区域的三维环境信息，可以反映局部区域的很多环境特征，比如局部区域中建筑物的位置、道路的位置分布、物体之间的联系等。从点云信息中很难直观地发现与定位相关的关键点，但是点云信息包含的环境特征在一定程度上可以体现点云信息中的点是否与定位有关。因此，可对局部区域的点云信息进行特征图提取，得到局部区域对应的特征图。对多个局部区域分别进行点云信息的特征图提取，即可得到多个局部区域分别对应的特征图。
在一种可能的实现方式中，S302可包括：将局部区域的点云信息输入特征图提取网络，在特征图提取网络中对局部区域的点云信息进行特征图提取，得到局部区域对应的特征图。从而，利用特征图提取网络，提高对局部区域的点云信息进行特征图提取的准确性，尤其是可以更准确地提取出定位特征。
其中，特征图提取网络是基于全局训练区域的点云信息(即后续实施例中的第一点云信息)和全局训练区域对应的局部训练区域的点云信息(即后续实施例中的第二点云信息)训练得到的，全局训练区域的点云信息是训练过程中的辅助数据。全局训练区域与全局训练区域对应的局部训练区域之间存在共视区域，即存在地理位置上的重叠区域，所以全局训练区域的点云信息与局部训练区域的点云信息均包含共视区域的点云信息，利用该特点，在训练特征图提取网络的过程中，可通过特征图提取网络对全局训练区域的点云信息、局部训练区域的点云信息分别进行特征图提取，得到全局训练区域对应的特征图和局部区域对应的特征图；基于全局训练区域对应的特征图和局部区域对应的特征图，进行全局训练区域与局部训练区域之间相对位姿的估计；基于相对位姿估计的误差值，调整特征图提取网络的模型参数，实现对特征图提取网络的训练，提高特征图提取网络的特征图提取准确性。全局训练区域的点云信息不参与定位地图的构建，而是参与训练过程，所以全局训练区域的点云信息起到的是辅助训练的作用，相当于参考数据。
在本实现方式中，可选的，特征提取网络中可包括用于提取鸟瞰图视角(bird'seye view，简称BEV)特征图的特征网络，可通过该特征网络对局部区域的点云信息进行特征图提取，从而能够将复杂的三维环境简化为二维特征，提高对局部区域的点云信息进行特征图提取的效率和准确性。
进一步的，特征提取网络还可包括用于BEV特征编码的编码网络。可将局部区域的点云信息输入上述特征网络中，在特征网络中对局部区域的点云信息进行BEV特征图提取，得到局部区域对应的初始特征图(即初始的BEV特征图)；通过编码网络对局部区域对应的初始特征图进行编码，得到局部区域对应的特征图(即最终的BEV特征图)。
进一步的，编码网络可为残差块网络，以提高特征图的编码效果。
在本实现方式中，可选的，将局部区域的点云信息输入特征图提取网络之前，可将局部区域的点云信息中位于预设坐标范围之外的点过滤，得到过滤后的点云信息；将过滤后的点云信息投影到二维栅格中。之后，再将投影到二维栅格中的点云信息输入到特征图提取网络中进行特征图提取。其中，对局部区域的点云信息进行过滤，可以将点云信息中不符合要求(比如异常、检测误差较大)的点过滤掉，避免影响特征图提取的准确性；将过滤后的点云信息投影到二维栅格中，相当于是从二维的角度进行了点云信息的分类/分组，便于特征图提取网络对点云信息进行特征图提取。
进一步的，将局部区域的点云信息中位于预设坐标范围之外的点过滤，得到过滤后的点云信息，可包括：在局部区域对应的局部坐标系中，将局部区域的点云信息中x坐标位于X轴对应的坐标范围之外、y坐标位于Y轴对应的坐标范围之外或者z坐标位于Z轴对应的坐标范围之外的点过滤，得到过滤后的点云信息。其中，X轴对应的坐标范围例如[xmin,xmax]，y轴对应的坐标范围例如[ymin,ymax]，Z轴对应的坐标范围例如[zmin,zmax]。从而，从X轴、Y轴和Z轴三个坐标方向对点云信息进行过滤，提高过滤的准确性。
S303，根据局部区域对应的特征图，对局部区域的点云信息进行关键点提取，得到局部区域对应的多个与定位相关的关键点。
本实施例中，针对多个局部区域中任一局部区域，在得到该局部区域对应的特征图后，局部区域对应的特征图可以反映局部区域的点云信息中与定位相关的点的概率或者程度，因此，可基于局部区域对应的特征图，从局部区域的点云信息中提取与定位相关的概率或者程度较大的点，得到局部区域对应的多个与定位相关的关键点。如此，可得到多个局部区域分别对应的关键点。
在一种可能的实现方式中，多个局部区域分别对应的关键点是通过特征点提取网络提取得到的。针对多个局部区域中任一局部区域，可通过将该局部区域对应的特征图输入至特征点提取网络中，在特征点提取网络中基于该局部区域对应的特征图对局部区域的点云信息进行关键点提取，得到该局部区域对应的多个与定位相关的关键点。从而，利用特征点提取网络，提高对局部区域的点云信息进行关键点提取的准确性。
其中，特征点提取网络是基于全局训练区域的点云信息和全局训练区域对应的局部训练区域的点云信息训练得到的，全局训练区域的点云信息是训练过程中的辅助数据。全局训练区域与全局训练区域对应的局部训练区域之间存在共视区域，即存在地理位置上的重叠区域，所以全局训练区域的点云信息与局部训练区域的点云信息均包含共视区域的点云信息，利用该特点，在训练特征点提取网络的过程中，可在特征点提取网络中基于局部训练区域对应的特征图对局部训练区域的点云信息进行特征点提取，得到局部训练区域对应的多个与定位相关的关键点，利用全局训练区域对应的特征图、局部训练区域对应的多个与定位相关的关键点和局部训练区域对应的特征图中这些关键点的特征信息，进行全局训练区域与局部训练区域之间相对位姿的估计；基于相对位姿估计的误差值，调整特征点提取网络的模型参数，实现对特征点提取网络的训练，提高特征点提取网络的特征图提取准确性。全局训练区域的点云信息不参与定位地图的构建，而是参与训练过程，所以全局训练区域的点云信息起到的是辅助训练的作用，相当于参考数据。
在一种可能的实现方式中，S303包括：根据局部区域对应的特征图，生成局部区域对应的热力图，热力图中的多个数值表示多个二维栅格中存在与定位相关的关键点的概率，局部区域的点云信息经投影落入多个二维栅格中；根据热力图中的多个数值，从多个二维栅格分别包含的点云信息中，选取出局部区域对应的多个与定位相关的关键点。从而，基于热力图中的多个数值反映多个二维栅格中存在与定位相关的关键点的概率，从局部区域的点云信息中选取出多个与定位相关的关键点，提高关键点选取的准确性。
本实施例中，可将局部区域对应的特征图输入特征点提取网络中，在特征点提取网络中，基于局部区域对应的特征图，生成局部区域对应的热力图。热力图中的多个数值与局部地图的点云信息投影到的多个二维栅格之间一一对应，热力图中的一数值表示该数值对应的二维栅格中存在与定位相关的关键点的概率，数值越大则概率越高。所以，可根据热力图中的多个数值的大小，在多个二维栅格中选取出存在与定位相关的关键点的概率较高的二维栅格，从选取出的二维栅格包含的点云信息中，选取出局部区域对应的多个与定位相关的关键点。其中，可在模型训练中提高特征图提取网络基于局部区域对应的特征图生成局部区域对应的热力图的准确性，提高关键点选取的准确性。
在本实现方式中，可选的，在热力图包含的多个数值中，选取满足筛选条件的目标数值；在目标数值对应的二维栅格所包含的点云信息中，选取出局部区域对应的多个与定位相关的关键点。从而，通过筛选条件，从热力图包含的多个数值中准确筛选出数值较大的目标数值，使得目标数值对应的二维栅格为存在与定位相关的关键点的概率较高的二维栅格，从这些二维栅格中选取局部区域对应的多个与定位相关的关键点，提高关键点提取的准确性。
进一步的，其中，筛选条件为从大到小排列在前K位的数值，K为正整数；或，筛选条件为大于或等于设定阈值的数值。从而，通过筛选较大的前K位数值或者大于设定阈值的数值，提高关键点提取的准确性。
S304，根据多个局部区域分别对应的关键点，构建目标区域的定位地图。
其中，S304的实现原理和技术效果可参照前述实施例，不再赘述。
本公开实施例中，针对目标区域包含的每个局部区域，对局部区域的点云信息进行特征图提取，得到局部区域对应的特征图；基于局部区域对应的特征图，对局部区域对应的点云信息进行关键点提取，得到局部区域对应的多个与定位相关的关键点，提高了关键点提取的准确性，进而提高定位地图的精度；基于多个局部区域分别对应的与定位相关的关键点，构建目标区域的定位地图，在确保定位地图的精度的同时，减少了定位地图中与定位无关的冗余数据，使得定位地图更为稀疏，减少定位地图占用的存储空间，使其可以满足有限存储资源下大范围的定位需求。
图4是根据本公开第三实施例的示意图。如图4所示，本公开第三实施例提供的地图构建方法包括：
S401，获取目标区域包含的多个局部区域的点云信息。
S402，针对多个局部区域中任一局部区域，对该局部区域的点云信息进行关键点提取，得到该局部区域对应的多个与定位相关的关键点。
其中，S401～S402的实现原理和技术效果可参照前述实施例，不再赘述。
S403，根据目标区域所在的全局坐标系与多个局部区域分别对应的局部坐标系之间的转换关系，将多个局部区域分别对应的关键点转换至全局坐标系，得到全局坐标系下的关键点。
本实施例中，目标区域所在的坐标系为全局坐标系，局部区域所在的坐标系为局部坐标系，不同的局部区域的点云信息可以由不同的激光雷达采集得到，所以不同局部区域可以对应不同的局部坐标系。局部区域对应的关键点位于局部区域对应的局部坐标系中，为了构建全局坐标系下的定位地图，针对多个局部区域中任一局部区域，可根据目标区域所在的全局坐标系与该局部区域对应的局部坐标系之间的转换关系，将该局部区域对应的关键点从该局部区域对应的局部坐标系转换至全局坐标系。通过将多个局部区域分别对应的关键点转换至全局坐标系，可以得到全局坐标系下的关键点。
S404，根据全局坐标系下的关键点，得到定位地图。
本实施例中，可由全局坐标系下的关键点，组合得到定位地图。
在一种可能的实现方式中，S404可包括：对全局坐标系下的关键点进行采样，得到多个采样点；由多个采样点组合得到定位地图。从而，通过对关键点进行采样，降低关键点的稠密程度，避免在定位地图中包含全局坐标系下距离过于接近的多个关键点，构建得到稀疏的定位地图。
本实现方式中，可按照配置的采样间隔，对全局坐标系下的关键点进行采样，得到多个采样点，再由多个采样点组合得到定位地图。通过采样间隔降低关键点的稠密程度，避免在定位地图中距离过于接近的多个关键点。
在本实现方式中，可选的，按照配置的分辨率，在二维平面上对全局坐标系下的关键点进行下采样，得到的采样点为定位地图中的点。其中，配置的分辨率即配置的采样间隔，二维平面可以是X轴和Y轴构成的X-Y平面。从而，通过基于分辨率在二维平面上对关键点进行采样，使得定位地图在二维平面上是稀疏的且能够满足一定的分辨率，在减少定位地图的数据量和占用的存储空间的同时，确保定位地图的精度。
作为示例的，多个局部区域分别对应的关键点，可构成如下关键点集合： 其中，C1表示关键点集合中的第1个关键点、C2表示关键点集合中的第2个关键点，CK表示关键点集合中的第K个关键点，K表示关键点集合中关键点的数量，/>表示三维向量。将关键点集合中的关键点投影到全局坐标系，得到全局坐标系下的关键点；对全局坐标系下的关键点在X-Y平面进行分辨率为0.1米的下采样，得到全局坐标系下的定位地图。其中，定位地图可以表示为：/>其中，M1表示定位地图中的第1个点、M2表示定位地图中的第2个点，MX表示定位地图中的第X个点，X表示定位地图中点的数量，/>表示二维向量。
本公开实施例中，在得到多个局部区域分别对应的关键点之后，将多个局部区域分别对应的关键点从局部坐标系转换为全局坐标系，得到全局坐标系下的关键点，基于全局坐标系下的关键点，得到定位地图，提高了定位地图构建的准确性。在基于全局坐标系下的关键点得到定位地图的过程中，可通过对全局坐标系下的关键点进行采样构建得到稀疏的定位地图，在保证定位地图的精度的同时，降低定位地图中点的稠密度。
作为示例的，图5是根据本公开的上述实施例提供的定位地图构建的流程示例图。如图5所示，对多个3D激光雷达采集的局部地图(即前述实施例中多个局部区域的点云信息)分别进行BEV特征图提取，进行BEV特征图提取之后再进行特征点提取，对提取得到的关键点进行融合，最终构建得到定位地图，在确保定位地图的精度的同时实现了定位地图的稀疏化，在这个过程中还可以利用深度学习网络，实现了轻量化定位地图的端到端生产。
由于前述实施例中涉及特征图提取网络和特征点提取网络，下面，提供模型训练方法的一些实施例，在模型训练方法中训练得到用于定位地图构建的特征图提取网络和特征点提取网络，以提高定位地图的精度和鲁棒性。
图6是根据本公开第四实施例的示意图。如图6所示，本公开第四实施例提供的模型训练方法包括：
S601，获取全局训练区域的第一点云信息、全局训练区域对应的局部训练区域的第二点云信息以及第一点云信息与第二点云信息之间的实际相对位姿。其中，全局训练区域为全局区域，全局训练区域对应的局部训练区域为与全局区域存在共视区域的局部区域，共视区域参照前述实施例，不再赘述。
其中，全局训练区域可以为一个或者多个，一个全局训练区域可以对应的一个或者多个局部训练区域。为了便于区分，将全局训练区域的点云信息称为第一点云信息，将局部训练区域的点云信息称为第二点云信息，一个全局训练区域的第一点云信息、一个全局训练区域对应的一个局部训练区域的第二点云信息以及第一点云信息与第二点云信息之间的实际相对位姿可以构成一组训练数据。在全局训练区域为多个或者全局训练区域对应多个局部训练区域的情况下，可有多组训练数据。
其中，第一点云信息是全局训练区域对应的全局坐标系下的点云信息、第二点云信息是局部训练区域对应的局部坐标系下的点云信息，所以第一点云信息和第二点云信息之间存在一定的相对位姿。
本实施例中，可从训练数据库中，获取全局训练区域的第一点云信息、全局训练区域对应的局部训练区域的第二点云信息以及第一点云信息与第二点云信息之间的实际相对位姿。
S602，根据第一点云信息、第二点云信息和实际相对位姿，训练得到特征图提取网络、位姿估计网络和第一阶段训练完成的特征点提取网络。
其中，经过第一阶段训练可得到特征图提取网络(即训练完成的特征图提取网络)和位姿估计网络(即训练完成的位姿估计网络)，经过第一阶段训练可得到第一阶段训练完成的特征点提取网络，由于特征点提取网络的作用包括提取与定位相关的关键点，特征点提取网络的准确性直接影响定位地图构建的准确性，第一阶段训练完成的特征点提取网络还需要进行第二阶段训练，以通过两阶段的训练更有效地提高特征点提取网络的准确性。
其中，特征图提取网络和第二阶段训练完成的特征点提取网络用于定位地图的构建。在上述实施例提供的地图构建方法中，针对多个局部区域中的任一局部区域，可利用特征图提取网络和第二阶段训练完成的特征点提取网络，对该局部区域的点云信息进行特征处理，得到该局部区域对应的多个与定位相关的关键点，以提高定位地图构建过程中关键点提取的准确性。
其中，在第二阶段的训练中，特征图提取网络和位姿估计网络用于辅助特征点提取网络的第二阶段训练，第一点云信息为训练过程的辅助数据，在特征图提取网络、位姿估计网络和第一点云信息的辅助下，提高特征点提取网络的特征提取准确性。
本实施例中，在第一阶段训练中，初始特征图提取网络、初始特征点提取网络和初始位姿估计网络可构成第一阶段的位姿估计模型，其中，初始特征图提取网络、初始特征点提取网络和初始位姿估计网络可预先配置得到。将第一点云信息和第二点云信息输入到第一阶段的位姿估计模型中，依次通过初始特征图提取网络、初始特征点提取网络和初始位姿估计网络进行相应处理，得到第一点云信息与第二点云信息之间的相对位姿估计结果；基于第一点云信息与第二点云信息之间的实际相对位姿和相对位姿估计结果，确定位姿估计的损失值；基于该损失值对初始特征图提取网络、初始特征点提取网络和初始位姿估计网络分别进行参数调整，实现第一阶段的一次迭代训练。如此，进行第一阶段的一次或者多次迭代训练，得到特征图提取网络、位姿估计网络和第一阶段训练完成的特征点提取网络。
S603，根据第一点云信息、第二点云信息和实际相对位姿、特征图提取网络和位姿估计网络，对第一阶段训练完成的特征点提取网络进行第二阶段的训练，得到第二阶段训练完成的特征点提取网络。
本实施例中，第二阶段的训练过程与第一阶段的训练过程相似，区别点包括：第一阶段中对未训练完成的特征图提取网络(包括初始特征图提取网络和参数调整后的特征图提取网络)、未训练完成的特征点提取网络(包括初始特征点提取网络和参数调整后的特征点提取网络)和未训练完成的位姿估计网络(包括初始位姿估计网络和参数调整后的位姿估计网络)进行参数调整，第二阶段中固定特征图提取网络和位姿估计网络的参数不变，对第一阶段训练完成的特征点提取网络进行参数调整。第二阶段的训练过程为：特征图提取网络、第一阶段训练完成的特征点提取网络和位姿估计网络可构成第二阶段的位姿估计模型，将第一点云信息和第二点云信息输入到第二阶段的位姿估计模型中，依次通过特征图提取网络、特征点提取网络和第一阶段训练完成的位姿估计网络进行相应处理，得到第一点云信息与第二点云信息之间的相对位姿估计结果；基于第一点云信息与第二点云信息之间的实际相对位姿和相对位姿估计结果，确定位姿估计的损失值；基于该损失值对第一阶段训练完成的特征点提取网络进行参数调整，实现对第一阶段训练完成的特征点提取网络的一次迭代训练，实现第二阶段的一次迭代训练。如此，对第一阶段训练完成的特征点提取网络进行一次或者多次迭代训练，完成第二阶段的训练，得到第二阶段训练完成的特征点提取网络。
本公开实施例中，基于全局训练区域的第一点云信息、全局训练区域对应的局部训练区域的第二点云信息以及第一点云信息与第二点云信息之间的实际相对位姿，进行了两阶段的训练，第一阶段训练得到特征图提取网络、位姿估计网络和第一阶段训练完成的特征点提取网络，第二阶段固定特征图提取网络、位姿估计网络的参数不变，对第一阶段训练完成的特征点提取网络进行训练，得到第二阶段训练完成的特征点提取网络。特征图提取网络和特征点提取网络用于定位地图的构建，特征点提取网络是定位地图构建的重中之重，在第一点云信息和位姿估计网络的辅助下通过两阶段的训练有效地提高了特征点提取网络的特征提取准确性，进而提高了定位地图构建准确性。
下面，分别提供两阶段训练过程的实施例。
图7是根据本公开第五实施例的示意图。如图7所示，本公开第五实施例提供的模型训练方法中第一阶段的训练过程包括：
S701，将第一点云信息输入至初始特征图提取网络进行特征图提取，得到全局训练区域对应的第一特征图，将第二点云信息输入至初始特征图提取网络进行特征图提取，得到局部训练区域对应的第二特征图。
本实施例中，将第一点云信息输入至初始特征图提取网络，在初始特征图提取网络中，对第一点云信息进行特征图提取，得到全局训练区域对应的特征图，为便于区分，将该特征图称为第一特征图；将第二点云信息输入至初始特征图提取网络，在初始特征图提取网络中，对第二点云信息进行特征图提取，得到局部训练区域对应的特征图，为便于区分，将该特征图称为第二特征图。
可选的，初始特征提取网络中包括用于提取BEV特征图的特征网络，可通过该特征网络对第一点云信息进行特征图提取，得到第一特征图，通过该特征网络对第二点云信息进行特征图提取，得到第二特征图。从而，能够将复杂的三维环境简化为二维特征，提高对第一点云信息和第二点云信息进行特征图提取的效率和准确性。
进一步的，初始特征提取网络还可包括用于BEV特征编码的编码网络。可将第一点云信息输入特征网络中，在特征网络中对第一点云信息进行BEV特征图提取，得到全局训练区域对应的初始特征图(即初始的BEV特征图)；通过编码网络对全局训练区域对应的初始特征图进行编码，得到第一特征图(即全局训练区域对应的最终的BEV特征图)。可将第二点云信息输入特征网络中，在特征网络中对第二点云信息进行BEV特征图提取，得到局部训练区域对应的初始特征图(即初始的BEV特征图)；通过编码网络对局部训练区域对应的初始特征图进行编码，得到第二特征图(即全局训练区域对应的最终的BEV特征图)。从而，通过特征网络和编码网络提高特征图提取准确性。
进一步的，编码网络可为残差块网络，以提高特征图的编码效果。
可选的，将第一点云信息输入初始特征图提取网络之前，可将第一点云信息中位于预设坐标范围之外的点过滤，得到过滤后的第一点云信息；将过滤后的第一点云信息投影到二维栅格中。之后，再将投影到二维栅格中的第一点云信息输入到初始特征图提取网络中进行特征图提取。
可选的，将第二点云信息输入初始特征图提取网络之前，可将第二点云信息中位于预设坐标范围之外的点过滤，得到过滤后的第二点云信息；将过滤后的第二点云信息投影到二维栅格中。之后，在将投影到二维栅格中的第二点云信息输入到初始特征图提取网络中进行特征图提取。
从而，通过对第一点云信息和第二点云信息进行过滤，可以将第一点云信息和第二点云信息中不符合要求(比如异常、检测误差较大)的点过滤掉，避免影响特征图提取的准确性；将过滤后的第一点云信息和过滤后的第二点云信息投影到二维栅格中，相当于是从二维的角度进行了点云信息的分类/分组，便于特征提取网络对点云信息进行特征图提取。
进一步的，将第一点云信息中位于预设坐标范围之外的点过滤，得到过滤后的第一点云信息，可包括：在全局训练区域对应的全局坐标系中，将第一点云信息中x坐标位于X轴对应的坐标范围之外、y坐标位于Y轴对应的坐标范围之外或者z坐标位于Z轴对应的坐标范围之外的点过滤，得到过滤后的第一点云信息。将第二点云信息中位于预设坐标范围之外的点过滤，得到过滤后的第二点云信息，可包括：在局部训练区域对应的局部坐标系中，将第二点云信息中x坐标位于X轴对应的坐标范围之外、y坐标位于Y轴对应的坐标范围之外或者z坐标位于Z轴对应的坐标范围之外的点过滤，得到过滤后的第二点云信息。其中，X轴对应的坐标范围例如[xmin,xmax]，y轴对应的坐标范围例如[ymin,ymax]，Z轴对应的坐标范围例如[zmin,zmax]。从而，从X轴、Y轴和Z轴三个坐标方向对点云信息进行过滤，提高过滤的准确性。
作为示例的，第一点云数据为P＝{Pi|i＝1,2,…,NP}，第二点云数据为S＝{Si|i＝1,2,…,NS}，其中，NP和NS分别是第一点云数据中点的数量和第二点云数据中点的数量。首先，对第一点云数据和第二点云数据，可在X维度和Y维度将它们截断到[xmin,xmax]和[ymin,ymax]范围，在Z维度将它们截断到[zmin,zmax]范围，将截断后的第一点云数据和截断后的第二点云数据分布投影到分辨率为R且大小为H×W的二维栅格中。之后，将投影后的第一点云数据和投影后的第二点云数据输入到特征网络中，得到全局训练区域对应的初始的BEV特征图和局部训练区域对应的初始的BEV特征图，将全局训练区域对应的初始的BEV特征图和局部训练区域对应的初始的BEV特征图分别输入到残差块网络中进行编码，得到第一特征图和第二特征图。
基于上述示例，可假设：第一特征图表示为第二特征图表示为/>/>xmin＝ymin＝-60m(米)，xmax＝ymax＝60m，zmin＝-10m，zmax＝10m，R＝0.5m，H＝240，W＝240，C＝256。C是每个特征的通道维度。
S702，将第二点云信息和第二特征图输入至初始特征点提取网络，在初始特征点提取网络中，对第二点云信息进行特征点提取，得到局部训练区域对应的多个与定位相关的第一关键点，从第二特征图提取得到多个第一关键点分别对应的描述特征。
本实施例中，将第二点云信息和第二特征图输入至初始特征点提取网络，在初始特征点提取网络中，对第二点云信息进行特征点提取，即对第二点云信息进行关键点提取，得到局部训练区域对应的多个与定位相关的关键点，为便于区分，将局部训练区域对应的关键点称为第一关键点。在第二特征图中可包括第二点云数据中的点相关的特征值，可基于第二特征图中与第二点云数据中的点相关的特征值，从第二特征图提取得到多个第一关键点分别对应的描述特征。
在一种可能的实现方式中，对第二点云信息进行特征点提取，可包括：从第二点云信息中选取多个第一关键点。进一步的，在第一阶段的训练过程中，考虑到初始特征点提取网络还没有学习好如何提取与定位相关的关键点，可采用从第二点云信息中随机选取的方式，得到多个第一关键点。
在一种可能的实现方式中，从第二特征图中，提取多个第一关键点分别对应的描述特征，可包括：根据多个第一关键点，在第二特征图中进行双线性插值，得到多个第一关键点分别对应的描述特征。
本实现方式中，在双线性插值的过程中，可将多个第一关键点分别投影到第二特征图上，得到多个第一关键点分别对应的投影点；针对多个第一关键点中任一第一关键点，确定该第一关键点对应的投影点的多个邻居点(比如4个邻居点)，从第二特征图中，获取多个邻居点分别对应的特征值，将多个邻居点分别对应的特征值进行加权求和，得到该第一关键点对应的描述特征。如此，可得到多个第一关键点分别对应的描述特征。从而，通过双线性插值的方式，使得第一关键点对应的描述特征融合了第一关键点在第二特征图中投影点的多个邻居点的特征值，提高了特征提取的准确性。
S703，将第一特征图、多个第一关键点、多个第一关键点分别对应的描述特征和第一点云信息与第二点云信息之间的第一初始相对位姿输入至初始位姿估计网络进行位姿估计，得到第一估计相对位姿偏移量和第一估计相对位姿偏移量对应的第一协方差，第一估计相对位姿偏移量是第一点云信息与第二点云信息之间的第一估计相对位姿与第一初始相对位姿之间的差值。
其中，为了便于区分，将第一阶段进行位姿估计得到的估计相对位姿偏移量、估计相对位姿偏移量对应的协方差分别称为第一估计相对位姿偏移量、第一协方差，将第一阶段中第一点云信息与第二点云信息之间的初始相对位姿称为第一初始相对位姿。第一估计相对位姿偏移量是第一阶段的估计相对位姿与第一初始相对位姿之间的差值，基于第一初始相对位姿和第一估计相对位姿偏移量可以计算得到第一估计相对位姿，即第一阶段的估计相对位姿。
其中，第一初始相对位姿可以是配置的初始相对位姿，也可以是随机初始化得到的相对位姿，在第一阶段的每次训练中，进行初始相对位姿的初始化，得到第一初始相对位姿。
本实现方式中，将第一特征图、多个第一关键点、多个第一关键点分别对应的描述特征和第一点云信息与第二点云信息之间的第一初始相对位姿输入至初始位姿估计网络，在初始位姿估计网络中，可基于第一初始相对位姿、第一特征图和多个第一关键点，确定多个第一关键点分别对应的全局特征；通过比较多个第一关键点分别对应的全局特征和多个第一关键点分别对应的描述特征，对第一点云信息与第二点云信息之间的相对位姿进行估计，得到第一估计相对位姿偏移量和第一协方差。如此，结合第一特征图、多个第一关键点、多个第一关键点分别对应的描述特征和第一初始相对位姿，通过比较关键点的全局特征和描述特征的方式，提高相对位姿估计的准确性。
在一种可能的实现方式中，S703可包括：根据第一初始相对位姿，确定多个第一候选相对位姿；针对多个第一候选相对位姿中的任一第一候选相对位姿，根据该第一候选相对位姿、第一特征图、多个第一关键点和多个第一关键点分别对应的描述特征，确定该第一候选相对位姿对应的位姿得分；根据多个第一候选相对位姿分别对应的位姿得分，计算得到第一估计相对位姿偏移量和第一协方差。从而，通过确定多个候选相对位姿、基于多个候选相对位姿的位姿得分进行位姿估计，提高位姿估计的准确性。
本实现方式中，可在第一初始相对位姿的基础上，分别添加多个候选偏移量，得到多个候选相对位姿，为了便于区分，将第一阶段训练中的候选相对位姿称为第一候选相对位姿，多个候选偏移量可以是随机确定的，也可以是配置的值，也可以通过其他方式确定。或者，以第一初始相对位姿为起点，在一个或者多个位姿方向上进行相对位姿的采样，得到多个第一候选相对位姿。针对多个第一候选相对位姿中的任一第一候选相对位姿，在该第一特征图上确定多个第一关键点分别对应的全局特征，通过比较多个第一关键点分别对应的全局特征和多个第一关键点分别对应的描述特征，确定该第一候选相对位姿对应的位姿得分；根据多个第一候选相对位姿分别对应的位姿得分、第一特征图、多个第一关键点和多个第一关键点分别对应的描述特征进行运算，计算得到第一估计相对位姿偏移量和第一协方差。
在本实现方式中，可选的，根据第一初始相对位姿，确定多个第一候选相对位姿，包括：在配置的多个位姿方向上进行采样，得到多个第一候选偏移量；在第一初始相对位姿中，分别增加多个第一候选偏移量，得到多个第一候选相对位姿。从而，第一候选偏移量是第一候选相对位姿与第一初始相对位姿之间的差值，采样多个候选偏移量可以准确地控制候选偏移量的采样间隔、采样密度，提高多个第一候选相对位姿分布的合理性。
进一步的，可在配置的多个位姿方向上，按照配置的距离间隔均匀进行偏移量的采样，得到多个第一候选偏移量，即通过直方图采样方式采样得到多个第一候选偏移量，提高了候选偏移量采样点的合理性。
其中，多个位姿方向可以包括：X轴、Y轴和偏转角(yaw)。
作为示例的，按照配置的距离间隔d，沿着X轴、Y轴和偏转角3个方向均匀地进行位姿采样，得到第一候选位姿偏移量，第一候选偏移量可以记为： 其中，p,q,r表示不同的方向，NH是每个方向上的位姿采样点的个数，例如，d为0.5m，NH为7。Δxpqr表示在X轴方向上的采样值，Δypqr表示在Y轴方向上的采样值，Δψpqr表示在偏转角上的采样值。在采样得到第一候选偏移量ΔTpqr之后，可根据第一初始相对位姿和第一候选位姿偏移量ΔTpqr，计算第一候选相对位姿其中，/>表示SE(3)(表示特殊欧式群)和/>(表示三维空间或者三维向量)间的加法，将/>空间中X轴、Y轴和偏转角的位姿增量分别加到SE(3)空间中。
在本实现方式中，可选的，根据第一特征图、多个第一关键点和多个第一关键点分别对应的描述特征，确定第一候选相对位姿对应的位姿得分，包括：根据第一候选相对位姿，将多个第一关键点分别投影到全局训练区域所在的全局坐标系下，得到多个第一关键点分别对应的投影点；根据多个第一关键点分别对应的投影点，在第一特征图中提取多个第一关键点分别对应的全局特征；根据多个第一关键点分别对应的描述特征和多个第一关键点分别对应的全局特征，确定第一候选相对位姿对应的位姿得分。从而，通过基于候选相对位姿，将关键点从局部坐标系投影到全局坐标系，再基于投影点提取得到关键点的全局特征，提高了第一点云信息与第二点云信息之间的相对位姿为候选位姿的情况下对关键点进行全局特征提取的准确性。
本可选方式，第一点云数据位于全局训练区域对应的全局坐标系，第二点云数据位于局部训练区域对应的局部坐标系，第一候选相对位姿反映了全局坐标系与局部坐标系之间的候选转换关系，基于第一候选相对位姿，可将多个第一关键点分别从局部坐标系投影到全局训练区域所在的全局坐标系下，得到多个第一关键点分别对应的投影点；针对多个第一关键点中任一第一关键点，根据该第一关键点对应的投影点的坐标，在第一特征图中提取该第一关键点对应的全局特征，得到多个第一关键点分别对应的全局特征。如果候选相对位姿接近于第一点云数据与第二点云数据之间的实际相对位姿，则多个第一关键点可以更准确地投影到全局坐标系下，从第一特征图中也可以更准确地提取到第一关键点分别对应的全局特征。之后，通过比较多个第一关键点分别对应的描述特征与多个第一关键点分别对应的全局特征之间的相似度，得到第一候选相对位姿对应的位姿得分，由于全局训练区域和局部训练区域之间存在共视区域，候选相对位姿越接近于第一点云数据与第二点云数据之间的实际相对位姿，则多个第一关键点分别对应的描述特征与多个第一关键点分别对应的全局特征之间的相似度越高，所以，可以基于多个第一关键点分别对应的描述特征与多个第一关键点分别对应的全局特征之间的相似度来确定第一候选相对位姿对应的位姿得分，位姿得分越高，则表示第一候选相对位姿越接近于第一点云数据与第二点云数据之间的实际相对位姿。
可选的，在根据第一候选相对位姿，将多个第一关键点分别投影到全局训练区域所在的全局坐标系下，得到多个第一关键点分别对应的投影点的过程中，投影公式可表示为：
其中，Tpqr表示第一候选相对位姿，第一关键点的关键点集合表示为{C1,C2,…,Ci,…,CK}，Ci表示第i个第一关键点，表示第i个第一关键点Ci根据第一候选相对位姿投影到全局坐标系下的投影点，K为第一关键点的数量。
可选的，根据多个第一关键点分别对应的投影点，在第一特征图中提取多个第一关键点分别对应的全局特征，可包括：根据多个第一关键点分别对应的投影点，在第一特征图中进行双线性插值，得到多个第一关键点分别对应的全局特征。从而，通过双线性插值的方式，提高全局特征提取准确性。
本可选方式中，在双线性插值的过程中，针对多个第一关键点中任一第一关键点，确定该第一关键点对应的投影点的多个邻居点(比如4个邻居点)，在第一特征图中，获取多个邻居点分别对应的特征值，将多个邻居点分别对应的特征值进行加权求和，得到该第一关键点对应的全局特征。如此，可得到多个第一关键点分别对应的全局特征。从而，通过双线性插值的方式，使得第一关键点对应的全局特征融合了第一关键点在第一特征图中投影点的多个邻居点的特征值，提高了特征提取的准确性。
作为示例的，在第一特征图上进行双线性插值，得到第i个关键点Ci对应的全局特征/>
可选的，根据多个第一关键点分别对应的描述特征和多个第一关键点分别对应的全局特征，确定第一候选相对位姿对应的位姿得分，包括：针对多个第一关键点中的任一第一关键点，将该第一关键点对应的描述特征与第一关键点对应的全局特征进行特征相似度匹配，得到该第一关键点对应的特征相似度得分；根据多个第一关键点分别对应的特征相似度得分，确定第一候选相对位姿对应的位姿得分。从而，通过各个第一关键点的描述特征和全局特征进行特征相似度匹配，并结合多个第一关键点分别对应的特征相似度得分，提高第一候选相对位姿对应的位姿得分的准确性。
本可选方式中，可通过特征匹配网络或者其他方式，将第一关键点对应的描述特征与第一关键点对应的全局特征进行特征相似度匹配，得到第一关键点对应的特征相似度得分，得到多个第一关键点分别对应的特征相似度得分之后，可将多个第一关键点分别对应的特征相似度得分进行求和、求平均、取中位数、取众数等方式，得到第一候选相对位姿对应的位姿得分。
可选的，在初始位姿估计网络中包括多层感知机层，可将第一关键点对应的描述特征和第一关键点对应的全局特征输入到多层感知机层中进行特征相似度匹配，得到第一关键点对应的特征相似度得分。
可选的，通过多层感知机层对第i个第一关键点对应的描述特征和第i个第一关键点对应的全局特征Bi(Tpqr)进行特征相似度匹配，表示如下：
Si(Tpqr)＝g(Bi(Tpqr)⊙Di)
其中，g表示多层感知机层，⊙表示点积，Si(Tpqr)表示特征相似度。
可选的，候选位姿Tpqr对应的位姿得分的计算公式可表示为：
其中，S(Tpqr)表示候选位姿Tpqr对应的位姿得分。
在本实现方式中，可选的，根据多个第一候选相对位姿分别对应的位姿得分，计算得到第一估计相对位姿偏移量和第一协方差，可包括：根据多个第一候选相对位姿分别对应的位姿得分，确定多个第一候选相对位姿分别对应的后验概率；根据多个第一候选相对位姿分别对应的位姿得分和多个第一候选相对位姿分别对应的后验概率，确定第一估计相对位姿偏移量；根据多个第一候选相对位姿和第一估计相对位姿偏移量，计算得到第一协方差。
其中，多个第一候选相对位姿分别对应的后验概率的计算公式可表示为：
其中，X＝{C,D,FP}，第一关键点的关键点集合表示为C＝{C1,C2,…,CK}，多个第一关键点分别对应的描述特征构成的描述特征集合表示为D＝{D1,D2,…,DK}，FP表示第一特征图。
其中，第一估计相对位姿偏移量的计算公式可表示为：
其中，第一协方差的计算公式可表示为：
S704，根据实际相对位姿、第一初始相对位姿、第一估计相对位姿偏移量和第一协方差，确定第一估计相对位姿相对实际相对位姿的第一损失值。
在一种可能的实现方式中，可根据第一初始相对位姿和第一估计相对位姿偏移量，计算得到第一估计相对位姿；确定实际相对位姿与第一相对位姿之间的差值；根据第一协方差以及实际相对位姿与第一相对位姿之间的差值，计算第一估计相对位姿相对实际相对位姿的第一损失值。从而，利用实际相对位姿与估计相对位姿之间的差异，来计算位姿估计的损失值。
在又一种可能的实现方式中，可根据实际相对位姿和第一初始相对位姿，得到第一实际相对位姿偏移量；根据第一协方差和第一实际相对位姿偏移量，计算第一估计相对位姿相对实际相对位姿的第一损失值。从而，利用实际相对位姿偏移量与估计相对位姿偏移量之间的差异，来计算位姿估计的损失值。
可选的，根据第一协方差和第一实际相对位姿偏移量，计算第一估计相对位姿相对实际相对位姿的第一损失值的公式可表示为：
其中，Σest＝UΥUT，是一个对角阵，其对角元素通过归一化Υ-1的对角元素得到。ΔTgt为第一实际相对位姿偏移量。该损失函数是位姿估计的均方根误差损失函数，通过均方根误差损失函数来优化模型参数，可提高模型参数的优化效果，进而提高定位地图构建的准确性和精度。
S705，根据第一损失值，分别对初始特征图提取网络、初始位姿估计网络和初始特征点提取网络进行模型参数的调整。
本实施例中，可基于第一损失值，采用优化算法(比如梯度下降算法，在此对优化算法不做限制)，分别对初始特征图提取网络、初始位姿估计网络和初始特征点提取网络进行模型参数的调整，实现第一阶段中对初始特征图提取网络、初始位姿估计网络和初始特征点提取网络的一次训练。
S706，如果第一阶段的训练满足收敛条件，则结束第一阶段的训练，得到特征图提取网络、位姿估计网络和第一阶段训练完成的特征点提取网络，否则继续进行第一阶段的下一轮训练。
本实施例中，第一阶段的训练满足收敛条件，比如，第一阶段的训练次数大于或者等于第一次数阈值，或者，第一阶段中第一损失值小于或者小于第一损失阈值。如果第一阶段的训练满足收敛条件，则结束第一阶段的训练，得到特征图提取网络、位姿估计网络和第一阶段训练完成的特征点提取网络，否则继续进行第一阶段的下一轮训练，即再次执行S701～S706(在下一轮训练中，初始特征图提取网络是上一轮参数调整后的特征图提取网络，初始特征点提取网络是上一轮参数调整后的特征点提取网络，初始位姿估计网络是上一轮参数调整后的位姿估计网络)，直至第一阶段的训练收敛。
本公开实施例中，提供了第一阶段的训练过程，在该训练过程中，结合第一点云信息、第二点云信息以及第一点云信息与第二点云信息之间的实际相对位姿，对第一点云信息与第二点云信息之间的相对位姿进行估计，基于相对位姿估计的损失值进行参数调整，以提高特征图提取网络、特征点提取网络以及位姿估计网络的网络性能，尤其是提高特征图提取网络、特征点提取网络的特征提取准确性。
图8是根据本公开第六实施例的示意图。如图8所示，本公开第六实施例提供的模型训练方法中第二阶段的训练过程包括：
S801，将第一点云信息输入至特征图提取网络进行特征提取，得到第一点云信息对应的第三特征图，将第二点云信息输入至特征图提取网络进行特征提取，得到第二点云信息对应的第四特征图。
其中，为了与第一阶段训练进行区分，将第二阶段中第一点云信息对应的特征图、第二点云信息对应的特征图分别称为第三特征图、第四特征图。该过程可以参照第一特征图和第二特征图的提取过程，不再赘述。
S802，将第二点云信息和第四特征图输入至第一阶段训练完成的特征点提取网络，在第一阶段训练完成的特征点提取网络中，对第二点云信息进行特征点提取，得到局部训练区域对应的多个与定位相关的第二关键点，从第四特征图提取得到多个第二关键点分别对应的描述特征。
其中，为了与第一训练阶段进行区分，将第二阶段中局部训练区域对应的与定位相关的关键点称为第二关键点。
在一种可能的实现方式中，对第二点云信息进行特征点提取，得到局部训练区域对应的多个与定位相关的第二关键点，包括：根据第四特征图，生成局部训练区域对应的热力图，热力图中的多个数值表示多个二维栅格中存在与定位相关的关键点的概率，第二点云信息经投影落入多个二维栅格中；根据多个数值，从多个二维栅格分别包含的点云信息中，选取出多个第二关键点。从而，基于热力图中的多个数值反映多个二维栅格中存在与定位相关的关键点的概率的特点，以及基于第一阶段训练完成的特征点提取网络在一定程度上可以提取定位相关的特征、生成较为准确的热力图的特点，通过热力图从第二点云信息中选取出多个与定位相关的关键点，提高关键点选取的准确性。
本实施例中，在第一阶段训练完成的特征点提取网络中，基于第四特征图，生成局部训练区域对应的热力图。热力图中的多个数值与第二点云信息投影到的多个二维栅格之间一一对应，热力图中的数值表示该数值对应的二维栅格中存在与定位相关的关键点的概率，数值越大则概率越高。所以，可根据热力图中的多个数值的大小，在多个二维栅格中选取出存在与定位相关的关键点的概率较高的二维栅格，从选取出的二维栅格包含的点云信息中，选取出局部训练区域对应的多个与定位相关的第二关键点。
在本实现方式中，可选的，根据多个数值，从多个二维栅格分别包含的点云信息中，选取出多个第二关键点，包括：在多个数值中，选取满足筛选条件的目标数值；在目标数值对应的二维栅格所包含的点云信息中，选取出多个第二关键点。从而，通过筛选条件，从热力图包含的多个数值中准确筛选出数值较大的目标数值，使得目标数值对应的二维栅格为存在与定位相关的关键点的概率较高的二维栅格，从这些二维栅格中选取局部区域对应的多个与定位相关的关键点，提高关键点提取的准确性。
进一步的，其中，筛选条件为从大到小排列在前K位的数值，K为正整数；或，筛选条件为大于或等于设定阈值的数值。从而，通过筛选较大的前K位数值或者大于设定阈值的数值，提高关键点提取的准确性。
S803，将第三特征图、多个第二关键点、多个第二关键点分别对应的描述特征和第一点云信息与第二点云信息之间的第二初始相对位姿输入至位姿估计网络进行位姿估计，得到第二估计相对位姿偏移量和第二估计相对位姿偏移量对应的第二协方差，第二估计相对位姿偏移量是第一点云信息与第二点云信息之间的第二估计相对位姿与第二初始相对位姿之间的差值。
S804，根据实际相对位姿、第二初始相对位姿、第二估计相对位姿偏移量和第二协方差，确定第二估计相对位姿相对实际相对位姿的第二损失值。
S805，根据第二损失值，对第一阶段训练完成的特征点提取网络进行模型参数的调整。
S806，如果第二阶段的训练满足收敛条件，则结束第二阶段的训练，确定第二节点训练完成的特征点提取网络为模型参数调整后的特征点提取网络，否则继续进行第二阶段的下一轮训练。
其中，S801、S803、S804和S806的实现原理和技术效果可以参照第一阶段的训练过程，区别在于第一阶段的训练过程中调整了初始特征图提取网络、初始特征点提取网络和初始位姿估计网络的模型参数，第二阶段的训练过程，固定特征图提取网络和位姿估计网络的模型参数不变，调整第一阶段训练完成的特征点提取网络的模型参数。在此对第二阶段与第一阶段相同的训练过程不进行赘述。
本公开实施例中，提供了第二阶段的训练过程，在该训练过程中，结合第一点云信息、第二点云信息以及第一点云信息与第二点云信息之间的实际相对位姿，对第一点云信息与第二点云信息之间的相对位姿进行估计，基于相对位姿估计的损失值对特征点提取网络进行参数调整，以进一步提高特征点提取网络的特征提取准确性，进而提高定位地图构建的准确性。
作为示例的，图9是根据本公开的上述实施例提供的模型训练的流程示例图。如图9所示，可对3D激光雷达点云(即全局训练区域的点云数据)和3D激光雷达局部地图(即局部训练区域的点云数据)分别进行BEV特征提取，即提取BEV特征图；基于3D激光雷达局部地图的BEV特征图，对3D激光雷达局部地图进行特征点提取，得到3D激光雷达局部地图对应的关键点和关键点对应点描述特征；在位姿求解器(即位姿估计网络)中，基于3D激光雷达点云对应的BEV特征图、3D激光雷达局部地图对应的关键点和关键点对应点描述特征，进行位姿估计，得到位姿估计结果；根据实际相对位姿对位姿估计结果进行监督，得到的损失值用于调整模型参数。
图10是本公开第七实施例的示意图。如图10所示，本公开第七实施例提供的模型训练装置1000包括：获取单元1001，用于获取目标区域包含的多个局部区域的点云信息；关键点提取单元1002，用于针对多个局部区域中任一局部区域，对该局部区域的点云信息进行关键点提取，得到该局部区域对应的多个与定位相关的关键点；地图构建单元1003，用于根据多个局部区域分别对应的关键点，构建目标区域的定位地图。
在一些实施例中，关键点提取单元1002包括：特征图提取模块(图中未示出)，用于对局部区域的点云信息进行特征图提取，得到局部区域对应的特征图；关键点提取模块(图中未示出)，用于根据局部区域对应的特征图，对局部区域的点云信息进行关键点提取，得到局部区域对应的多个与定位相关的关键点。
在一些实施例中，特征图提取模块，包括：特征图提取子模块(图中未示出)，用于将局部区域的点云信息输入特征图提取网络中进行特征图提取，得到局部区域对应的特征图；其中，特征图提取网络是基于全局训练区域的点云信息和全局训练区域对应的局部训练区域的点云信息训练得到的，全局训练区域的点云信息是训练过程中的辅助数据。
在一些实施例中，关键点提取模块包括：热力图生成子模块(图中未示出)，用于根据特征图，生成局部区域对应的热力图，热力图中的多个数值表示多个二维栅格中存在与定位相关的关键点的概率，局部区域的点云信息经投影落入多个二维栅格中；关键点选取子模块(图中未示出)，用于根据多个数值，从多个二维栅格分别包含的点云信息中，选取出局部区域对应的多个与定位相关的关键点。
在一些实施例中，关键点选取子模块具体用于：在多个数值中，选取满足筛选条件的目标数值；在目标数值对应的二维栅格所包含的点云信息中，选取出局部区域对应的多个与定位相关的关键点。
在一些实施例中，筛选条件为从大到小排列在前K位的数值，K为正整数；或，筛选条件为大于或等于设定阈值的数值。
在一些实施例中，多个局部区域分别对应的关键点是通过特征点提取网络提取得到的；特征点提取网络是基于全局训练区域的点云信息和全局训练区域对应的局部训练区域的点云信息训练得到的，全局训练区域的点云信息是训练过程中的辅助数据。
在一些实施例中，地图构建单元1003包括：坐标系转换模块(图中未示出)，用于根据目标区域所在的全局坐标系与多个局部区域分别对应的局部坐标系之间的转换关系，将多个局部区域分别对应的关键点转换至全局坐标系，得到全局坐标系下的关键点；地图构建模块(图中未示出)，用于根据全局坐标系下的关键点，得到定位地图。
在一些实施例中，地图构建模块包括：关键点采样子模块(图中未示出)，用于对全局坐标系下的关键点进行采样，得到多个采样点；关键点组合子模块，用于由多个采样点组合得到定位地图。
图10提供的地图构建装置，可以执行上述地图构建方法对应的方法实施例中的步骤，其实现原理和技术效果类似，在此不再赘述。
图11是本公开第八实施例的示意图。如图11所示，本公开第八实施例提供的模型训练装置1100包括：训练数据获取单元1101，用于获取全局训练区域的第一点云信息、全局训练区域对应的局部训练区域的第二点云信息以及第一点云信息与第二点云信息之间的实际相对位姿；第一训练单元1102，用于根据第一点云信息、第二点云信息和实际相对位姿，训练得到特征图提取网络、位姿估计网络和第一阶段训练完成的特征点提取网络；第二训练单元1103，用于根据第一点云信息、第二点云信息和实际相对位姿、特征图提取网络和位姿估计网络，对第一阶段训练完成的特征点提取网络进行第二阶段的训练，得到第二阶段训练完成的特征点提取网络；其中，特征图提取网络和第二阶段训练完成的特征点提取网络用于定位地图的构建
在一些实施例中，第一训练单元1102包括：第一特征图提取模块(图中未示出)，用于将第一点云信息输入至初始特征图提取网络进行特征图提取，得到全局训练区域对应的第一特征图；第二特征图提取模块(图中未示出)，用于将第二点云信息输入至初始特征图提取网络进行特征图提取，得到全局训练区域对应的第二特征图；第一特征点提取模块(图中未示出)，用于将第二点云信息和第二特征图输入至初始特征点提取网络，在初始特征点提取网络中，对第二点云信息进行特征点提取，得到局部训练区域对应的多个与定位相关的第一关键点，从第二特征图提取得到多个第一关键点分别对应的描述特征；第一位姿估计模块(图中未示出)，用于将第一特征图、多个第一关键点、多个第一关键点分别对应的描述特征和第一点云信息与第二点云信息之间的第一初始相对位姿输入至初始位姿估计网络进行位姿估计，得到第一估计相对位姿偏移量和第一估计相对位姿偏移量对应的第一协方差，第一估计相对位姿偏移量是第一点云信息与第二点云信息之间的第一估计相对位姿与第一初始相对位姿之间的差值；第一损失确定模块(图中未示出)，用于根据实际相对位姿、第一初始相对位姿、第一估计相对位姿偏移量和第一协方差，确定第一估计相对位姿相对实际相对位姿的第一损失值；第一参数调整模块(图中未示出)，用于根据第一损失值，分别对初始特征图提取网络、初始位姿估计网络和初始特征点提取网络进行模型参数的调整；第一循环模块(图中未示出)，用于如果第一阶段的训练满足收敛条件，则结束第一阶段的训练，得到特征图提取网络、位姿估计网络和第一阶段训练完成的特征点提取网络，否则继续进行第一阶段的下一轮训练。
在一些实施例中，第一特征点提取模块包括：关键点随机选取子模块(图中未示出)，用于从第二点云信息中选取多个第一关键点；描述特征提取子模块，用于从第二特征图中，提取多个第一关键点分别对应的描述特征。
在一些实施例中，描述特征提取子模块具体用于：根据多个第一关键点，在第二特征图中进行双线性插值，得到多个第一关键点分别对应的描述特征。
在一些实施例中，第一位姿估计模块包括：候选位姿确定子模块(图中未示出)，用于根据第一初始相对位姿，确定多个第一候选相对位姿；位姿得分确定子模块(图中未示出)，用于针对多个第一候选相对位姿中的任一第一候选相对位姿，根据该第一候选相对位姿、第一特征图、多个第一关键点和多个第一关键点分别对应的描述特征，确定该第一候选相对位姿对应的位姿得分；结果计算子模块(图中未示出)，用于根据多个第一候选相对位姿分别对应的位姿得分，计算得到第一估计相对位姿偏移量和第一协方差。
在一些实施例中，候选位姿确定子模块具体用于：在配置的多个位姿方向上进行采样，得到多个第一候选偏移量；在第一初始相对位姿中，分别增加多个第一候选偏移量，得到多个第一候选相对位姿。
在一些实施例中，位姿得分确定子模块具体用于：根据第一候选相对位姿，将多个第一关键点分别投影到全局训练区域所在的全局坐标系下，得到多个第一关键点分别对应的投影点；根据多个第一关键点分别对应的投影点，在第一特征图中提取多个第一关键点分别对应的全局特征；根据多个第一关键点分别对应的描述特征和多个第一关键点分别对应的全局特征，确定第一候选相对位姿对应的位姿得分。
在一些实施例中，位姿得分确定子模块具体用于：根据多个第一关键点分别对应的投影点，在第一特征图中进行双线性插值，得到多个第一关键点分别对应的全局特征。
在一些实施例中，位姿得分确定子模块具体用于：针对多个第一关键点中的任一第一关键点，将该第一关键点对应的描述特征与该第一关键点对应的全局特征进行特征相似度匹配，得到该第一关键点对应的特征相似度得分；根据多个第一关键点分别对应的特征相似度得分，确定第一候选相对位姿对应的位姿得分。
在一些实施例中，第二训练单元1103包括：第三特征图提取模块(图中未示出)，用于将第一点云信息输入至特征图提取网络进行特征图提取，得到全局训练区域对应的第三特征图；第四特征图提取模块(图中未示出)，用于将第二点云信息输入至特征图提取网络进行特征提取，得到局部训练区域对应的第四特征图；第二特征点提取模块(图中未示出)，用于将第二点云信息和第四特征图输入至第一阶段训练完成的特征点提取网络，在第一阶段训练完成的特征点提取网络中，对第二点云信息进行特征点提取，得到局部训练区域对应的多个与定位相关的第二关键点，从第四特征图提取得到多个第二关键点分别对应的描述特征；第二位姿估计模块(图中未示出)，用于将第三特征图、多个第二关键点、多个第二关键点分别对应的描述特征和第一点云信息与第二点云信息之间的第二初始相对位姿输入至位姿估计网络进行位姿估计，得到第二估计相对位姿偏移量和第二估计相对位姿偏移量对应的第二协方差，第二估计相对位姿偏移量是第一点云信息与第二点云信息之间的第二估计相对位姿与第二初始相对位姿之间的差值；第二损失确定模块(图中未示出)，用于根据实际相对位姿、第二初始相对位姿、第二估计相对位姿偏移量和第二协方差，确定第二估计相对位姿相对实际相对位姿的第二损失值；第二参数调整模块(图中未示出)，用于根据第二损失值，对第一阶段训练完成的特征点提取网络进行模型参数的调整；第二循环模块(图中未示出)，用于如果第二阶段的训练满足收敛条件，则结束第二阶段的训练，确定第二节点训练完成的特征点提取网络为模型参数调整后的特征点提取网络，否则继续进行第二阶段的下一轮训练。
在一些实施例中，第二关键点提取模块包括：热力图生成子模块(图中未示出)，用于根据第四特征图，生成局部训练区域对应的热力图，热力图中的多个数值表示多个二维栅格中存在与定位相关的关键点的概率，第二点云信息经投影落入多个二维栅格中；关键点选取子模块(图中未示出)，用于根据多个数值，从多个二维栅格分别包含的点云信息中，选取出多个第二关键点。
在一些实施例中，关键点选取子模块具体用于：在多个数值中，选取满足筛选条件的目标数值；在目标数值对应的二维栅格所包含的点云信息中，选取出多个第二关键点。
图11提供的模型训练装置，可以执行上述模型训练方法对应的方法实施例中的步骤，其实现原理和技术效果类似，在此不再赘述。
根据本公开的实施例，本公开还提供了一种电子设备，电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述任一实施例提供的方案。
根据本公开的实施例，本公开还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述任一实施例提供的方案。
根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
图12为可以用来实施本公开的实施例的示例电子设备1200的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图12所示，电子设备1200包括计算单元1201，其可以根据存储在只读存储器(Read Only Memory，ROM)(图12以ROM 1202为例)中的计算机程序或者从存储单元1208加载到随机访问存储器(Random Access Memory，RAM)(图12以RAM 1203为例)中的计算机程序，来执行各种适当的动作和处理。在RAM 1203中，还可存储电子设备1200操作所需的各种程序和数据。计算单元1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(I/O)接口(图12以I/O接口1205为例)也连接至总线1204。
电子设备1200中的多个部件连接至I/O接口1205，包括：输入单元1206，例如键盘、鼠标等；输出单元1207，例如各种类型的显示器、扬声器等；存储单元1208，例如磁盘、光盘等；以及通信单元1209，例如网卡、调制解调器、无线通信收发机等。通信单元1209允许电子设备1200通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1201的一些示例包括但不限于中央处理单元(Central Processing Unit，CPU)、图形处理单元(Graphic Processing Unit，GPU)、各种专用的人工智能(ArtificialIntelligence，AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(Digital Signal Process，DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1201执行上文所描述的各个方法和处理，例如地图构建方法。例如，在一些实施例中，地图构建方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1208。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1202和/或通信单元1209而被载入和/或安装到电子设备1200上。当计算机程序加载到RAM 1203并由计算单元1201执行时，可以执行上文描述的地图构建方法的一个或多个步骤。备选地，在其他实施例中，计算单元1201可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行地图构建方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(Field Program Gate Array，FPGA)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、专用标准产品(Application Specific StandardParts，ASSP)、芯片上系统的系统(System On a Chip，SOC)、复杂可编程逻辑设备(ComplexProgramming Logic Device，CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (45)

1.一种地图构建方法，包括：
获取目标区域包含的多个局部区域的点云信息；
针对所述多个局部区域中任一局部区域，对所述局部区域的点云信息进行关键点提取，得到所述局部区域对应的多个与定位相关的关键点；
根据所述多个局部区域分别对应的关键点，构建所述目标区域的定位地图。
2.根据权利要求1所述的地图构建方法，其中，所述对所述局部区域的点云信息进行关键点提取，得到所述局部区域对应的多个与定位相关的关键点，包括：
对所述局部区域的点云信息进行特征图提取，得到所述局部区域对应的特征图；
根据所述局部区域对应的特征图，对所述局部区域的点云信息进行关键点提取，得到所述局部区域对应的多个与定位相关的关键点。
3.根据权利要求2所述的地图构建方法，其中，所述对所述局部区域的点云信息进行特征图提取，得到所述局部区域对应的特征图，包括：
将所述局部区域的点云信息输入特征图提取网络中进行特征图提取，得到所述局部区域对应的特征图；
其中，所述特征图提取网络是基于全局训练区域的点云信息和所述全局训练区域对应的局部训练区域的点云信息训练得到的，所述全局训练区域的点云信息是训练过程中的辅助数据。
4.根据权利要求2所述的地图构建方法，其中，所述根据所述特征图，对所述局部区域的点云信息进行关键点提取，得到所述局部区域对应的多个与定位相关的关键点，包括：
根据所述特征图，生成所述局部区域对应的热力图，所述热力图中的多个数值表示多个二维栅格中存在与定位相关的关键点的概率，所述局部区域的点云信息经投影落入所述多个二维栅格中；
根据所述多个数值，从所述多个二维栅格分别包含的点云信息中，选取出所述局部区域对应的多个与定位相关的关键点。
5.根据权利要求4所述的地图构建方法，其中，所述根据所述多个数值，从所述多个二维栅格分别包含的点云信息中，选取出所述局部区域对应的多个与定位相关的关键点，包括：
在所述多个数值中，选取满足筛选条件的目标数值；
在所述目标数值对应的二维栅格所包含的点云信息中，选取出所述局部区域对应的多个与定位相关的关键点。
6.根据权利要求5所述的地图构建方法，其中，所述筛选条件为从大到小排列在前K位的数值，K为正整数；或，所述筛选条件为大于或等于设定阈值的数值。
7.根据权利要求1至3中任一项所述的地图构建方法，其中，所述多个局部区域分别对应的关键点是通过特征点提取网络提取得到的；
所述特征点提取网络是基于全局训练区域的点云信息和所述全局训练区域对应的局部训练区域的点云信息训练得到的，所述全局训练区域的点云信息是训练过程中的辅助数据。
8.根据权利要求1至6中任一项所述的地图构建方法，其中，所述根据所述多个局部区域分别对应的关键点，构建所述目标区域的定位地图，包括：
根据所述目标区域所在的全局坐标系与所述多个局部区域分别对应的局部坐标系之间的转换关系，将所述多个局部区域分别对应的关键点转换至所述全局坐标系，得到所述全局坐标系下的关键点；
根据所述全局坐标系下的关键点，得到所述定位地图。
9.根据权利要求8所述的地图构建方法，其中，所述根据所述全局坐标系下的关键点，得到所述定位地图，包括：
对所述全局坐标系下的关键点进行采样，得到多个采样点；
由所述多个采样点组合得到所述定位地图。
10.一种模型训练方法，包括：
获取全局训练区域的第一点云信息、所述全局训练区域对应的局部训练区域的第二点云信息以及所述第一点云信息与所述第二点云信息之间的实际相对位姿；
根据所述第一点云信息、所述第二点云信息和所述实际相对位姿，训练得到特征图提取网络、位姿估计网络和第一阶段训练完成的特征点提取网络；
根据所述第一点云信息、所述第二点云信息和所述实际相对位姿、所述特征图提取网络和所述位姿估计网络，对第一阶段训练完成的特征点提取网络进行第二阶段的训练，得到第二阶段训练完成的特征点提取网络；
其中，所述特征图提取网络和第二阶段训练完成的特征点提取网络用于定位地图的构建。
11.根据权利要求10所述的模型训练方法，其中，所述根据所述第一点云信息、所述第二点云信息和所述实际相对位姿，训练得到特征图提取网络、位姿估计网络和第一阶段训练完成的特征点提取网络，包括：
将所述第一点云信息输入至初始特征图提取网络进行特征图提取，得到所述全局训练区域对应的第一特征图；
将所述第二点云信息输入至所述初始特征图提取网络进行特征图提取，得到所述局部训练区域对应的第二特征图；
将所述第二点云信息和所述第二特征图输入至初始特征点提取网络，在所述初始特征点提取网络中，对所述第二点云信息进行特征点提取，得到所述局部训练区域对应的多个与定位相关的第一关键点，从所述第二特征图提取得到多个第一关键点分别对应的描述特征；
将所述第一特征图、所述多个第一关键点、所述多个第一关键点分别对应的描述特征和所述第一点云信息与所述第二点云信息之间的第一初始相对位姿输入至初始位姿估计网络进行位姿估计，得到第一估计相对位姿偏移量和所述第一估计相对位姿偏移量对应的第一协方差，所述第一估计相对位姿偏移量是所述第一点云信息与所述第二点云信息之间的第一估计相对位姿与所述第一初始相对位姿之间的差值；
根据所述实际相对位姿、所述第一初始相对位姿、所述第一估计相对位姿偏移量和所述第一协方差，确定所述第一估计相对位姿相对所述实际相对位姿的第一损失值；
根据所述第一损失值，分别对所述初始特征图提取网络、所述初始位姿估计网络和所述初始特征点提取网络进行模型参数的调整；
如果第一阶段的训练满足收敛条件，则结束第一阶段的训练，得到所述特征图提取网络、所述位姿估计网络和第一阶段训练完成的特征点提取网络，否则继续进行第一阶段的下一轮训练。
12.根据权利要求11所述的模型训练方法，其中，所述将所述第二点云信息和所述第二特征图输入至初始特征点提取网络，在所述初始特征点提取网络中，对所述第二点云信息进行特征点提取，得到所述局部训练区域对应的多个与定位相关的第一关键点，从所述第二特征图提取得到所述多个第一关键点分别对应的描述特征，包括：
从所述第二点云信息中选取所述多个第一关键点；
从所述第二特征图中，提取所述多个第一关键点分别对应的描述特征。
13.根据权利要求12所述的模型训练方法，其中，所述从所述第二特征图中，提取所述多个第一关键点分别对应的描述特征，包括：
根据所述多个第一关键点，在所述第二特征图中进行双线性插值，得到所述多个第一关键点分别对应的描述特征。
14.根据权利要求11所述的模型训练方法，其中，所述将所述第一特征图、所述多个第一关键点、所述多个第一关键点分别对应的描述特征和所述第一点云信息与所述第二点云信息之间的第一初始相对位姿输入至初始位姿估计网络进行位姿估计，得到第一估计相对位姿偏移量和所述第一估计相对位姿偏移量对应的第一协方差，包括：
根据所述第一初始相对位姿，确定多个第一候选相对位姿；
针对所述多个第一候选相对位姿中的任一第一候选相对位姿，根据所述第一候选相对位姿、所述第一特征图、所述多个第一关键点和所述多个第一关键点分别对应的描述特征，确定所述第一候选相对位姿对应的位姿得分；
根据所述多个第一候选相对位姿分别对应的位姿得分，计算得到所述第一估计相对位姿偏移量和所述第一协方差。
15.根据权利要求14所述的模型训练方法，其中，所述根据所述第一初始相对位姿，确定多个第一候选相对位姿，包括：
在配置的多个位姿方向上进行采样，得到多个第一候选偏移量；
在所述第一初始相对位姿中，分别增加所述多个第一候选偏移量，得到所述多个第一候选相对位姿。
16.根据权利要求14所述的模型训练方法，其中，所述根据所述第一候选相对位姿、所述第一特征图、所述多个第一关键点和所述多个第一关键点分别对应的描述特征，确定所述第一候选相对位姿对应的位姿得分，包括：
根据所述第一候选相对位姿，将所述多个第一关键点分别投影到所述全局训练区域所在的全局坐标系下，得到所述多个第一关键点分别对应的投影点；
根据所述多个第一关键点分别对应的投影点，在所述第一特征图中提取所述多个第一关键点分别对应的全局特征；
根据所述多个第一关键点分别对应的描述特征和所述多个第一关键点分别对应的全局特征，确定所述第一候选相对位姿对应的位姿得分。
17.根据权利要求16所述的模型训练方法，其中，所述根据所述多个第一关键点分别对应的投影点，在所述第一特征图中提取所述多个第一关键点分别对应的全局特征，包括：
根据所述多个第一关键点分别对应的投影点，在所述第一特征图中进行双线性插值，得到所述多个第一关键点分别对应的全局特征。
18.根据权利要求16所述的模型训练方法，其中，所述根据所述多个第一关键点分别对应的描述特征和所述多个第一关键点分别对应的全局特征，确定所述第一候选相对位姿对应的位姿得分，包括：
针对所述多个第一关键点中的任一第一关键点，将所述第一关键点对应的描述特征与所述第一关键点对应的全局特征进行特征相似度匹配，得到所述第一关键点对应的特征相似度得分；
根据所述多个第一关键点分别对应的特征相似度得分，确定所述第一候选相对位姿对应的位姿得分。
19.根据权利要求10至18中任一项所述的模型训练方法，其中，所述根据所述第一点云信息、所述第二点云信息和所述实际相对位姿、所述特征图提取网络和所述位姿估计网络，对第一阶段训练完成的特征点提取网络进行第二阶段的训练，得到第二阶段训练完成的特征点提取网络，包括：
将所述第一点云信息输入至所述特征图提取网络进行特征图提取，得到所述全局训练区域对应的第三特征图；
将所述第二点云信息输入至所述特征图提取网络进行特征图提取，得到所述局部训练区域对应的第四特征图；
将所述第二点云信息和所述第四特征图输入至第一阶段训练完成的特征点提取网络，在第一阶段训练完成的特征点提取网络中，对所述第二点云信息进行特征点提取，得到所述局部训练区域对应的多个与定位相关的第二关键点，从所述第四特征图提取得到多个第二关键点分别对应的描述特征；
将所述第三特征图、所述多个第二关键点、所述多个第二关键点分别对应的描述特征和所述第一点云信息与所述第二点云信息之间的第二初始相对位姿输入至所述位姿估计网络进行位姿估计，得到第二估计相对位姿偏移量和所述第二估计相对位姿偏移量对应的第二协方差，所述第二估计相对位姿偏移量是所述第一点云信息与所述第二点云信息之间的第二估计相对位姿与所述第二初始相对位姿之间的差值；
根据所述实际相对位姿、所述第二初始相对位姿、所述第二估计相对位姿偏移量和所述第二协方差，确定所述第二估计相对位姿相对所述实际相对位姿的第二损失值；
根据所述第二损失值，对第一阶段训练完成的特征点提取网络进行模型参数的调整；
如果第二阶段的训练满足收敛条件，则结束第二阶段的训练，确定第二节点训练完成的特征点提取网络为模型参数调整后的特征点提取网络，否则继续进行第二阶段的下一轮训练。
20.根据权利要求19所述的模型训练方法，其中，所述对所述第二点云信息进行特征点提取，得到所述局部训练区域对应的多个与定位相关的第二关键点，包括：
根据所述第四特征图，生成所述局部训练区域对应的热力图，所述热力图中的多个数值表示多个二维栅格中存在与定位相关的关键点的概率，所述第二点云信息经投影落入所述多个二维栅格中；
根据所述多个数值，从所述多个二维栅格分别包含的点云信息中，选取出所述多个第二关键点。
21.根据权利要求20所述的模型训练方法，其中，所述根据所述多个数值，从所述多个二维栅格分别包含的点云信息中，选取出所述多个第二关键点，包括：
在所述多个数值中，选取满足筛选条件的目标数值；
在所述目标数值对应的二维栅格所包含的点云信息中，选取出所述多个第二关键点。
22.一种地图构建装置，包括：
获取单元，用于获取目标区域包含的多个局部区域的点云信息；
关键点提取单元，用于针对所述多个局部区域中任一局部区域，对所述局部区域的点云信息进行关键点提取，得到所述局部区域对应的多个与定位相关的关键点；
地图构建单元，用于根据所述多个局部区域分别对应的关键点，构建所述目标区域的定位地图。
23.根据权利要求22所述的地图构建装置，其中，所述关键点提取单元包括：
特征图提取模块，用于对所述局部区域的点云信息进行特征图提取，得到所述局部区域对应的特征图；
关键点提取模块，用于根据所述局部区域对应的特征图，对所述局部区域的点云信息进行关键点提取，得到所述局部区域对应的多个与定位相关的关键点。
24.根据权利要求23所述的地图构建装置，其中，所述特征图提取模块，包括：
特征图提取子模块，用于将所述局部区域的点云信息输入特征图提取网络中进行特征图提取，得到所述局部区域对应的特征图；
其中，所述特征图提取网络是基于全局训练区域的点云信息和所述全局训练区域对应的局部训练区域的点云信息训练得到的，所述全局训练区域的点云信息是训练过程中的辅助数据。
25.根据权利要求23所述的地图构建装置，其中，所述关键点提取模块包括：
热力图生成子模块，用于根据所述特征图，生成所述局部区域对应的热力图，所述热力图中的多个数值表示多个二维栅格中存在与定位相关的关键点的概率，所述局部区域的点云信息经投影落入所述多个二维栅格中；
关键点选取子模块，用于根据所述多个数值，从所述多个二维栅格分别包含的点云信息中，选取出所述局部区域对应的多个与定位相关的关键点。
26.根据权利要求25所述的地图构建装置，其中，所述关键点选取子模块具体用于：
在所述多个数值中，选取满足筛选条件的目标数值；
在所述目标数值对应的二维栅格所包含的点云信息中，选取出所述局部区域对应的多个与定位相关的关键点。
27.根据权利要求26所述的地图构建装置，其中，所述筛选条件为从大到小排列在前K位的数值，K为正整数；或，所述筛选条件为大于或等于设定阈值的数值。
28.根据权利要求22至24中任一项所述的地图构建装置，其中，所述多个局部区域分别对应的关键点是通过特征点提取网络提取得到的；
所述特征点提取网络是基于全局训练区域的点云信息和所述全局训练区域对应的局部训练区域的点云信息训练得到的，所述全局训练区域的点云信息是训练过程中的辅助数据。
29.根据权利要求22至27中任一项所述的地图构建装置，其中，所述地图构建单元包括：
坐标系转换模块，用于根据所述目标区域所在的全局坐标系与所述多个局部区域分别对应的局部坐标系之间的转换关系，将所述多个局部区域分别对应的关键点转换至所述全局坐标系，得到所述全局坐标系下的关键点；
地图构建模块，用于根据所述全局坐标系下的关键点，得到所述定位地图。
30.根据权利要求29所述的地图构建装置，其中，所述地图构建模块包括：
关键点采样子模块，用于对所述全局坐标系下的关键点进行采样，得到多个采样点；
关键点组合子模块，用于由所述多个采样点组合得到所述定位地图。
31.一种模型训练装置，包括：
训练数据获取单元，用于获取全局训练区域的第一点云信息、所述全局训练区域对应的局部训练区域的第二点云信息以及所述第一点云信息与所述第二点云信息之间的实际相对位姿；
第一训练单元，用于根据所述第一点云信息、所述第二点云信息和所述实际相对位姿，训练得到特征图提取网络、位姿估计网络和第一阶段训练完成的特征点提取网络；
第二训练单元，用于根据所述第一点云信息、所述第二点云信息和所述实际相对位姿、所述特征图提取网络和所述位姿估计网络，对第一阶段训练完成的特征点提取网络进行第二阶段的训练，得到第二阶段训练完成的特征点提取网络；
其中，所述特征图提取网络和第二阶段训练完成的特征点提取网络用于定位地图的构建。
32.根据权利要求31所述的模型训练装置，其中，所述第一训练单元包括：
第一特征图提取模块，用于将所述第一点云信息输入至初始特征图提取网络进行特征图提取，得到所述全局训练区域对应的第一特征图；
第二特征图提取模块，用于将所述第二点云信息输入至所述初始特征图提取网络进行特征图提取，得到所述局部训练区域对应的第二特征图；
第一特征点提取模块，用于将所述第二点云信息和所述第二特征图输入至初始特征点提取网络，在所述初始特征点提取网络中，对所述第二点云信息进行特征点提取，得到所述局部训练区域对应的多个与定位相关的第一关键点，从所述第二特征图提取得到多个第一关键点分别对应的描述特征；
第一位姿估计模块，用于将所述第一特征图、所述多个第一关键点、所述多个第一关键点分别对应的描述特征和所述第一点云信息与所述第二点云信息之间的第一初始相对位姿输入至初始位姿估计网络进行位姿估计，得到第一估计相对位姿偏移量和所述第一估计相对位姿偏移量对应的第一协方差，所述第一估计相对位姿偏移量是所述第一点云信息与所述第二点云信息之间的第一估计相对位姿与所述第一初始相对位姿之间的差值；
第一损失确定模块，用于根据所述实际相对位姿、所述第一初始相对位姿、所述第一估计相对位姿偏移量和所述第一协方差，确定所述第一估计相对位姿相对所述实际相对位姿的第一损失值；
第一参数调整模块，用于根据所述第一损失值，分别对所述初始特征图提取网络、所述初始位姿估计网络和所述初始特征点提取网络进行模型参数的调整；
第一循环模块，用于如果第一阶段的训练满足收敛条件，则结束第一阶段的训练，得到所述特征图提取网络、所述位姿估计网络和第一阶段训练完成的特征点提取网络，否则继续进行第一阶段的下一轮训练。
33.根据权利要求32所述的模型训练装置，其中，所述第一特征点提取模块包括：
关键点随机选取子模块，用于从所述第二点云信息中选取所述多个第一关键点；
描述特征提取子模块，用于从所述第二特征图中，提取所述多个第一关键点分别对应的描述特征。
34.根据权利要求33所述的模型训练装置，其中，所述描述特征提取子模块具体用于：
根据所述多个第一关键点，在所述第二特征图中进行双线性插值，得到所述多个第一关键点分别对应的描述特征。
35.根据权利要求32所述的模型训练方法，其中，所述第一位姿估计模块包括：
候选位姿确定子模块，用于根据所述第一初始相对位姿，确定多个第一候选相对位姿；
位姿得分确定子模块，用于针对所述多个第一候选相对位姿中的任一第一候选相对位姿，根据所述第一候选相对位姿、所述第一特征图、所述多个第一关键点和所述多个第一关键点分别对应的描述特征，确定所述第一候选相对位姿对应的位姿得分；
结果计算子模块，用于根据所述多个第一候选相对位姿分别对应的位姿得分，计算得到所述第一估计相对位姿偏移量和所述第一协方差。
36.根据权利要求35所述的模型训练装置，其中，所述候选位姿确定子模块具体用于：
在配置的多个位姿方向上进行采样，得到多个第一候选偏移量；
在所述第一初始相对位姿中，分别增加所述多个第一候选偏移量，得到所述多个第一候选相对位姿。
37.根据权利要求35所述的模型训练装置，其中，所述位姿得分确定子模块具体用于：
根据所述第一候选相对位姿，将所述多个第一关键点分别投影到所述全局训练区域所在的全局坐标系下，得到所述多个第一关键点分别对应的投影点；
根据所述多个第一关键点分别对应的投影点，在所述第一特征图中提取所述多个第一关键点分别对应的全局特征；
根据所述多个第一关键点分别对应的描述特征和所述多个第一关键点分别对应的全局特征，确定所述第一候选相对位姿对应的位姿得分。
38.根据权利要求37所述的模型训练装置，其中，所述位姿得分确定子模块具体用于：
根据所述多个第一关键点分别对应的投影点，在所述第一特征图中进行双线性插值，得到所述多个第一关键点分别对应的全局特征。
39.根据权利要求37所述的模型训练方法，其中，所述位姿得分确定子模块具体用于：
针对所述多个第一关键点中的任一第一关键点，将所述第一关键点对应的描述特征与所述第一关键点对应的全局特征进行特征相似度匹配，得到所述第一关键点对应的特征相似度得分；
根据所述多个第一关键点分别对应的特征相似度得分，确定所述第一候选相对位姿对应的位姿得分。
40.根据权利要求31至39中任一项所述的模型训练装置，其中，所述第二训练单元包括：
第三特征图提取模块，用于将所述第一点云信息输入至所述特征图提取网络进行特征图提取，得到所述全局训练区域对应的第三特征图；
第四特征图提取模块，用于将所述第二点云信息输入至所述特征图提取网络进行特征图提取，得到所述局部训练区域对应的第四特征图；
第二特征点提取模块，用于将所述第二点云信息和所述第四特征图输入至第一阶段训练完成的特征点提取网络，在第一阶段训练完成的特征点提取网络中，对所述第二点云信息进行特征点提取，得到所述局部训练区域对应的多个与定位相关的第二关键点，从所述第四特征图提取得到多个第二关键点分别对应的描述特征；
第二位姿估计模块，用于将所述第三特征图、所述多个第二关键点、所述多个第二关键点分别对应的描述特征和所述第一点云信息与所述第二点云信息之间的第二初始相对位姿输入至所述位姿估计网络进行位姿估计，得到第二估计相对位姿偏移量和所述第二估计相对位姿偏移量对应的第二协方差，所述第二估计相对位姿偏移量是所述第一点云信息与所述第二点云信息之间的第二估计相对位姿与所述第二初始相对位姿之间的差值；
第二损失确定模块，用于根据所述实际相对位姿、所述第二初始相对位姿、所述第二估计相对位姿偏移量和所述第二协方差，确定所述第二估计相对位姿相对所述实际相对位姿的第二损失值；
第二参数调整模块，用于根据所述第二损失值，对第一阶段训练完成的特征点提取网络进行模型参数的调整；
第二循环模块，用于如果第二阶段的训练满足收敛条件，则结束第二阶段的训练，确定第二节点训练完成的特征点提取网络为模型参数调整后的特征点提取网络，否则继续进行第二阶段的下一轮训练。
41.根据权利要求40所述的模型训练装置，其中，所述第二关键点提取模块包括：
热力图生成子模块，用于根据所述第四特征图，生成所述局部训练区域对应的热力图，所述热力图中的多个数值表示多个二维栅格中存在与定位相关的关键点的概率，所述第二点云信息经投影落入所述多个二维栅格中；
关键点选取子模块，用于根据所述多个数值，从所述多个二维栅格分别包含的点云信息中，选取出所述多个第二关键点。
42.根据权利要求41所述的模型训练装置，其中，所述关键点选取子模块具体用于：
在所述多个数值中，选取满足筛选条件的目标数值；
在所述目标数值对应的二维栅格所包含的点云信息中，选取出所述多个第二关键点。
43.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据权利要求1至9中任一项所述的地图构建方法或者根据权利要求10至21中任一项所述的模型训练方法。
44.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至9中任一项所述的地图构建方法或者根据权利要求10至21中任一项所述的模型训练方法。
45.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1至9中任一项所述的地图构建方法的步骤或者根据权利要求10至21中任一项所述的模型训练方法的步骤。
CN202311669842.1A 2023-12-06 2023-12-06 地图构建方法、模型训练方法、装置、设备及存储介质 Pending CN117629186A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311669842.1A CN117629186A (zh) 2023-12-06 2023-12-06 地图构建方法、模型训练方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311669842.1A CN117629186A (zh) 2023-12-06 2023-12-06 地图构建方法、模型训练方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN117629186A true CN117629186A (zh) 2024-03-01

Family

ID=90028670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311669842.1A Pending CN117629186A (zh) 2023-12-06 2023-12-06 地图构建方法、模型训练方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117629186A (zh)

Similar Documents

Publication Publication Date Title
JP6745328B2 (ja) 点群データを復旧するための方法及び装置
CN111968229B (zh) 高精度地图制图方法及装置
US8199977B2 (en) System and method for extraction of features from a 3-D point cloud
WO2021052283A1 (zh) 处理三维点云数据的方法和计算设备
CN112652036B (zh) 道路数据的处理方法、装置、设备及存储介质
EP4116935B1 (en) High-definition map creation method and device, and electronic device
JP7214803B2 (ja) 建築物の測位方法、装置、電子デバイス、記憶媒体、プログラム、及び端末デバイス
CN114202026B (zh) 多任务模型训练方法和装置、多任务处理方法和装置
CN114926549B (zh) 三维点云处理方法、装置、设备以及存储介质
CN116559928B (zh) 激光雷达的位姿信息确定方法、装置、设备及存储介质
CN116188893A (zh) 基于bev的图像检测模型训练及目标检测方法和装置
CN113091736A (zh) 机器人定位方法、装置、机器人及存储介质
CN115457152A (zh) 外参标定方法、装置、电子设备及存储介质
CN114528941A (zh) 传感器数据融合方法、装置、电子设备及存储介质
CN113936109A (zh) 高精地图点云数据的处理方法、装置、设备以及存储介质
CN113932796A (zh) 高精地图车道线生成方法、装置和电子设备
CN115965961B (zh) 局部到全局的多模态融合方法、系统、设备及存储介质
CN115952248B (zh) 终端设备的位姿处理方法、装置、设备、介质及产品
CN115239899B (zh) 位姿图生成方法、高精地图生成方法和装置
CN115239776B (zh) 点云的配准方法、装置、设备和介质
CN114674328B (zh) 地图生成方法、装置、电子设备、存储介质、及车辆
CN113984072B (zh) 车辆定位方法、装置、设备、存储介质及自动驾驶车辆
KR20230006628A (ko) 이미지 처리 방법과 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램
CN117629186A (zh) 地图构建方法、模型训练方法、装置、设备及存储介质
CN115790621A (zh) 高精地图更新方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination